CN111221890A - 通用指标类自动监控预警方法及装置 - Google Patents

通用指标类自动监控预警方法及装置 Download PDF

Info

Publication number
CN111221890A
CN111221890A CN201911086651.6A CN201911086651A CN111221890A CN 111221890 A CN111221890 A CN 111221890A CN 201911086651 A CN201911086651 A CN 201911086651A CN 111221890 A CN111221890 A CN 111221890A
Authority
CN
China
Prior art keywords
early warning
data
object index
index
rule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911086651.6A
Other languages
English (en)
Other versions
CN111221890B (zh
Inventor
王建成
郜洪礼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongying Youchuang Information Technology Co Ltd
Original Assignee
Zhongying Youchuang Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongying Youchuang Information Technology Co Ltd filed Critical Zhongying Youchuang Information Technology Co Ltd
Priority to CN201911086651.6A priority Critical patent/CN111221890B/zh
Publication of CN111221890A publication Critical patent/CN111221890A/zh
Application granted granted Critical
Publication of CN111221890B publication Critical patent/CN111221890B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/466—Transaction processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种通用指标类自动监控预警方法及装置，该方法包括：从数据库读取对象指标预警规则；数据收集流程：将收集的原始对象指标数据发往数据缓冲队列；IO入库流程：使用事务模式将原始对象指标数据批量入库；数据分析流程：根据原始对象指标数据和预设的对象指标预警规则确定预警信息，将预警信息发往预警缓冲队列；预警IO流程：使用事务模式将预警信息批量入库，或，将预警信息发送至预警处理人员；数据收集流程和IO入库流程为两个独立并行处理流程，IO入库流程与数据分析流程为两个独立并行处理流程；数据分析流程与预警IO流程为两个独立并行处理流程。该方案将数据采集、数据分析和IO操作隔离，提升数据采集效率、预警性能。

Description

通用指标类自动监控预警方法及装置
技术领域
本发明涉及指标预警技术领域，特别涉及一种通用指标类自动监控预警方法及装置。
背景技术
在通信网管系统中不管是针对具体通信设备、或者网管系统、或者各类业务对象(地市、企业等)等等皆有指标预警的需求存在，需要有一种通用的高性能预警模式，兼具通用性(适用于不同对象)、实时性、稳定和高性能，满足不同企业各类设备和系统的指标预警需求。以往的预警模式主要包含以下缺陷：
(1)预警规则不可配置或者配置后不能自动应用，需要新建或者修改现网运行中的流程来实现新设置的预警规则，通常情况下是预警对象多种多样(比如地市级、企业级、网元级等)，而预警规则又千变万化，比如流量指标预警、在线数预警等等，通常的预警实现模式是针对具体的业务对象进行专门的预警功能实现，并没有将各种业务对象和它们的预警规则通用到一起进行分析；
(2)指标数据收集受限于现网预警流程，不能做到通用分布式收集，通常情况下是因为数据库同表多路录入可能存在锁表的问题不得已而为之；
(3)指标数据收集与入库IO操作通常采用单进程或者单线程顺序处理，影响数据收集效率；
(4)数据收集和数据分析之间实时衔接未设计好，通常是采用约定时限的方式来进行衔接，这样造成的后果就是数据收集和数据分析之间存在一定的时延，时延可能很大也可能很小，甚至衔接不好的情况的就是部分时间段的数据漏分析，对于指标预警要求不高的场景尚可接受，但是对于实时性要求很高的场景来说却是不可接受的；
(5)数据分析和预警处理衔接以往都是通常采用单进程或者单线程顺序处理，通常原因是大部分情况预警量较小，忽视了可能存在的预警量大的情况，若爆发预警风暴的情况，预警信息无论是发送网络端口或者存入数据库都会存在IO性能的问题，可能的情况就是导致整个预警功能性能低下、预警不及时。
发明内容
本发明实施例提供了一种通用指标类自动监控预警方法及装置，解决了现有技术中指标数据收集与入库IO操作采用单进程或者单线程顺序处理影响数据收集效率、数据分析和预警处理衔接采用单进程或者单线程顺序处理影响预警性能、数据收集和数据分析之间实时衔接不好影响预警性能的技术问题。
本发明实施例提供的通用指标类自动监控预警包括：
从数据库读取预设的对象指标预警规则；
数据收集流程：根据预设的对象指标预警规则进行数据收集，将收集的原始对象指标数据发往数据缓冲队列；
IO入库流程：检测数据缓冲队列，使用事务模式将所述原始对象指标数据批量入库，在所有原始对象指标数据批量入库后，通知数据收集流程，开始数据分析流程；
数据分析流程：从数据库中获取原始对象指标数据和预设的对象指标预警规则，根据原始对象指标数据和预设的对象指标预警规则确定预警信息，将所述预警信息发送至预警缓冲队列；
预警IO流程：检测预警缓冲队列，使用事务模式将所述预警信息批量入库，或，将所述预警信息发送至预警处理人员；
其中，数据收集流程和IO入库流程为两个独立并行处理流程，IO入库流程与数据分析流程为两个独立并行处理流程；数据分析流程与预警IO流程为两个独立并行处理流程。
本发明实施例提供的通用指标类自动监控预警装置包括：
预警规则读取模块，用于从数据库读取预设的对象指标预警规则；
数据收集模块，用于执行数据收集流程：根据预设的对象指标预警规则进行数据收集，将收集的原始对象指标数据发往数据缓冲队列；
数据缓冲队列，用于缓存原始对象指标数据；
IO操作模块，用于执行IO入库流程：检测数据缓冲队列，使用事务模式将所述原始对象指标数据批量入库，在所有原始对象指标数据批量入库后，通知数据收集流程，开始数据分析流程；
数据分析模块，用于执行数据分析流程：从数据库中获取原始对象指标数据和预设的对象指标预警规则，根据原始对象指标数据和预设的对象指标预警规则确定预警信息，将所述预警信息发送至预警缓冲队列；
预警缓冲队列，用于缓存预警信息；
所述IO操作模块，还用于执行预警IO流程：检测预警缓冲队列，使用事务模式将所述预警信息批量入库，或，将所述预警信息发送至预警处理人员；
其中，数据收集流程和IO入库流程为两个独立并行处理流程，IO入库流程与数据分析流程为两个独立并行处理流程；数据分析流程与预警IO流程为两个独立并行处理流程。
本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述方法。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述所述方法的计算机程序。
在本发明实施例中，在采集原始对象指标数据后，将原始对象指标数据发往数据缓冲队列，检测数据缓冲队列，使用事务模式将所述原始对象指标数据批量入库，当分析出预警数据后，将预警数据发送至预警缓冲队列，检测预警缓冲队列，使用事务模式将所述预警信息批量入库，或，将所述预警信息发送至预警处理人员，其中，数据收集流程和IO入库流程为两个独立并行处理流程，IO入库流程与数据分析流程为两个独立并行处理流程；数据分析流程与预警IO流程为两个独立并行处理流程，这样将数据采集、数据分析和IO操作隔离，提升数据采集效率、提升预警性能；在所有原始对象指标数据批量入库后，通知数据收集流程，开始数据分析流程，实现了数据收集和数据分析的实时衔接。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种通用指标类自动监控预警方法流程图；
图2是本发明实施例提供的一种对象属性表、指标属性表、对象指标预警规则表、对象指标原始数据表、对象指标预警的关系示意图；
图3是本发明实施例提供的一种指标管理操作界面示意图；
图4是本发明实施例提供的一种预警规则管理操作界面示意图；
图5是本发明实施例提供的一种预警查询界面示意图；
图6是本发明实施例提供的一种预警状态和操作示意图；
图7是本发明实施例提供的一种新预警hash表和旧预警hash表比对结果示意图；
图8是本发明实施例提供的一种通用指标类自动监控预警装置结构框图(一)；
图9是本发明实施例提供的一种通用指标类自动监控预警装置结构框图(二)。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明实施例中，提供了一种通用指标类自动监控预警方法方法，如图1所示，该方法包括：
1、从数据库读取预设的对象指标预警规则；
2、数据收集流程：根据预设的对象指标预警规则进行数据收集，将收集的原始对象指标数据发往数据缓冲队列；
3、IO入库流程：检测数据缓冲队列，使用事务模式(事务是访问数据库的一个操作序列，数据库应用系统通过事务集来完成对数据库的存取)将所述原始对象指标数据批量入库，在所有原始对象指标数据批量入库后，通知数据收集流程，开始数据分析流程；
4、数据分析流程：从数据库中获取原始对象指标数据和预设的对象指标预警规则，根据原始对象指标数据和预设的对象指标预警规则确定预警信息，将所述预警信息发送至预警缓冲队列；
5、预警IO流程：检测预警缓冲队列，使用事务模式将所述预警信息批量入库，或，将所述预警信息(可以通过Email)发送至预警处理人员；
其中，数据收集流程和IO入库流程为两个独立并行处理流程，IO入库流程与数据分析流程为两个独立并行处理流程；数据分析流程与预警IO流程为两个独立并行处理流程。
在本发明实施例中，当进行分布式数据采集时，数据收集流程：根据预设的对象指标预警规则从分布式设备中进行数据收集，将收集的原始对象指标数据进行汇总，将汇总后的对象指标数据发往数据缓冲队列。
再对数据收集完成后可以进行格式化操作，格式化操作后再将数据发送至数据缓冲队列。其中，根据实际需要设计格式化操作。
本发明主要采用了生产者/消费者模式来独立IO操作，可以把数据入库操作、数据写入文件或者数据发送网络都看作是一种IO操作，众所周知，IO操作相对于CPU操作是性能低下的，如果把这些IO操作都独立一个线程，与耗费CPU较频繁的数据分析过程并发运行，甚至是并行运行(适合多核CPU计算机)，将会大大提升预警分析效率，最低程度降低预警时延，另外将IO操作独立在一个线程中后，可以很方便的进行批量IO操作，减少IO中断次数；
本发明采用生产者/消费者模式来独立IO操作的另外一个好处是可以将指标数据收集做到通用分布式收集(生产者)，所有数据入库操作可以发给独立IO操作线程(消费者)队列进行批量入库操作，避免数据库同表多路同时录入可能存在锁表的问题。
在本发明实施例中，预设的对象指标预警规则可以通过浏览器界面由用户配置。
具体的，可以通过浏览器界面接收用户针对对象和指标的通用属性抽象设计出的对象属性、指标属性(适用于不同对象，如具体通信设备、或者网管系统、或者各类业务对象(地市、企业、用户等))，将配置的对象属性存入对象属性表，将配置的指标属性存入指标属性表，如图2所示。根据配置的对象属性和配置的指标属性自动解析对象指标预警规则，将对象指标预警规则存入对象指标预警规则表中，即将对象属性表、指标属性表交互呈现到前台，用户将能够通过浏览器界面很方便的配置相关业务对象的指标预警规则，如图2所示。
具体设置如下：
在浏览器界面(即预警指标管理操作界面)，用户可以对监控的预警指标进行增加、修改、删除、查询操作，指标名称可以是监控流量、附着成功率、TAU(跟踪区更新)成功率(跟踪区更新成功率％＝跟踪区更新成功次数/跟踪区更新请求次数×100％)等指标，如图3所示。
在本发明实施例中，该方法还包括：将预警信息(比如可以包括预警种类、预警等级、预警阈值等数据)通过浏览器界面展示给用户。接收用户通过浏览器界面为所述预警信息设置的预警处理状态，其中，所述预警处理状态包括挂起中、预警中和已结束，所述挂起中表明预警信息不需要再进行处理，所述预警中表明预警在持续中仍没有解除预警，所述已结束表明预警已解除。
具体设置如下：
在预警规则管理操作界面，根据预警指标添加预警规则、修改预警规则、删除预警规则以及查询预警规则和预警等级操作，如图4所示。
在预警查询界面，可以查看根据预警指标规则生成的预警数据，并可以对预警数据进行挂起、解挂、移除操作，如图5所示。
“—”标识预警状态：挂起中，说明预警信息不需要再进行处理；
“！”标识预警状态：预警中，说明预警在持续中仍没有解除预警；
“√”标识预警状态：已结束，预警已解除
预警状态和操作说明如图6所示：
1)当预警状态是预警中时，可以执行101挂起操作，使预警状态变成挂起中；也可以执行105移除操作，使预警状态变成已结束。
2)当预警状态是挂起中时，可以执行103解挂操作，使预警状态变成预警中；也可以执行106移除操作，使预警状态变成已结束。
3)当预警状态是已结束时，则不能做任何其他操作，也说明这一个预警已处理结束。
在本发明实施例中，将所述原始对象指标数据批量入库后，还包括：
将所述原始对象指标数据存入对象指标原始数据表中，对象指标原始数据表如图2所示；
从数据库中获取原始对象指标数据和预设的对象指标预警规则，根据原始对象指标数据和预设的对象指标预警规则确定预警信息，包括：
从数据库中获取对象指标原始数据表和对象指标预警规则表，将对象指标原始数据表和对象指标预警规则表进行关联，汇总分析出当前检查时间点符合规则的预警信息(对象指标预警)，如图2所示，将所述预警信息存入新预警hash表中，规则id作为key；
在原始对象指标预警表中查询所有活动预警信息，将所述所有活动预警信息存入旧预警hash表中，其中，所述活动预警表示未清除的预警，规则id作为key；
将新预警hash表与旧预警hash表进行比对，根据比对结果确定预警处理信息，比对结果分为三种情况，如图7所示：
属于新预警hash表但是不属于旧预警hash表的预警信息，表明该(此类规则)预警信息不存在于现网当中，该预警信息作为全新预警处理；
属于新预警hash表和旧预警hash表的交集的预警信息，表明该(此类规则)预警信息存在于现网当中，此次时间点又再次符合规则产生预警，该预警信息作为预警次数增加处理；如果有需要的话可以额外添加其他信息如最新发生时间等内容；
属于旧预警hash表但是不属于新预警hash表的预警信息，表明当前检查时间点未出现预警，说明此次对象指标数据未超出阈值，处在正常水平，该预警信息作为清除预警处理。一般情况下给该预警添加清除时间即可。
基于同一发明构思，本发明实施例中还提供了一种通用指标类自动监控预警装置，如下面的实施例所述。由于通用指标类自动监控预警装置解决问题的原理与通用指标类自动监控预警方法相似，因此通用指标类自动监控预警装置的实施可以参见通用指标类自动监控预警方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图8是本发明实施例的通用指标类自动监控预警装置的结构框图，如图8所示，包括：
预警规则读取模块801，用于从数据库读取预设的对象指标预警规则；
数据收集模块802，用于执行数据收集流程：根据预设的对象指标预警规则进行数据收集，将收集的原始对象指标数据发往数据缓冲队列；
数据缓冲队列803，用于缓存原始对象指标数据；
IO操作模块804，用于执行IO入库流程：检测数据缓冲队列，使用事务模式将所述原始对象指标数据批量入库，在所有原始对象指标数据批量入库后，通知数据收集流程，开始数据分析流程；
数据分析模块805，用于执行数据分析流程：从数据库中获取原始对象指标数据和预设的对象指标预警规则，根据原始对象指标数据和预设的对象指标预警规则确定预警信息，将所述预警信息发送至预警缓冲队列；
预警缓冲队列806，用于缓存预警信息；
所述IO操作模块804，还用于执行预警IO流程：检测预警缓冲队列，使用事务模式将所述预警信息批量入库，或，将所述预警信息发送至预警处理人员；
其中，数据收集流程和IO入库流程为两个独立并行处理流程，IO入库流程与数据分析流程为两个独立并行处理流程；数据分析流程与预警IO流程为两个独立并行处理流程。
在本发明实施例中，如图9所示，还包括：配置展示模块807，用于通过浏览器界面接收用户配置的所述预设的对象指标预警规则。
在本发明实施例中，所述配置展示模块807具体用于：
通过浏览器界面接收用户配置的对象属性、指标属性，将所述配置的对象属性存入对象属性表，将所述配置的指标属性存入指标属性表；
根据所述配置的对象属性和所述配置的指标属性确定对象指标预警规则，将所述对象指标预警规则存入对象指标预警规则表中。
在本发明实施例中，所述数据收集模块802具体用于：
当进行分布式数据采集时，执行如下数据收集流程：根据预设的对象指标预警规则从分布式设备中进行数据收集，将收集的原始对象指标数据进行汇总，将汇总后的对象指标数据发往数据缓冲队列。
在本发明实施例中，所述IO操作模块804还用于：
将所述原始对象指标数据批量入库后，将所述原始对象指标数据存入对象指标原始数据表中；
所述数据分析模块805具体用于：
从数据库中获取对象指标原始数据表和对象指标预警规则表，将对象指标原始数据表和对象指标预警规则表进行关联，汇总分析出当前检查时间点符合规则的预警信息，将所述预警信息存入新预警hash表中；
在原始对象指标预警表中查询所有活动预警信息，将所述所有活动预警信息存入旧预警hash表中，其中，所述活动预警表示未清除的预警；
将新预警hash表与旧预警hash表进行比对，根据比对结果确定预警处理信息。
在本发明实施例中，所述数据分析模块805具体用于：
按照如下方式将新预警hash表与旧预警hash表进行比对，根据比对结果确定预警处理信息：
属于新预警hash表但是不属于旧预警hash表的预警信息，表明该预警信息不存在于现网当中，该预警信息作为全新预警处理；
属于新预警hash表和旧预警hash表的交集的预警信息，表明该预警信息存在于现网当中，该预警信息作为预警次数增加处理；
属于旧预警hash表但是不属于新预警hash表的预警信息，表明当前检查时间点未出现预警，该预警信息作为清除预警处理。
在本发明实施例中，所述配置展示模块807还用于：将所述预警信息通过浏览器界面展示给用户。
在本发明实施例中，所述配置展示模块807还用于：
接收用户通过浏览器界面为所述预警信息设置的预警处理状态，其中，所述预警处理状态包括挂起中、预警中和已结束，所述挂起中表明预警信息不需要再进行处理，所述预警中表明预警在持续中仍没有解除预警，所述已结束表明预警已解除。
本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述方法。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述所述方法的计算机程序。
综上所述，本发明提出的通用指标类自动监控预警方法及装置具有如下优点：
(1)将通用对象和指标重要属性抽象出来，做到一个通用方案，适应大部分业务场景的需求，减少不同场景指标预警的重复设计开发，减少企业人力成本；
(2)预警规则流程可配置化：预警规则可以在前台配置，后台每次分析前都会重新读取规则表按照规则来收集数据和分析；
(3)支持分布式采集，避免数据库同表多路同时录入可能存在锁表的问题；
(4)实时性高，数据收集流程结束后实时衔接数据分析流程；
(5)使用生产者/消费者模式将数据采集、数据分析处理和IO操作隔离，提升预警性能，在数据采集和IO操作之间、数据分析处理和IO操作隔离设置的缓冲区队列具备如下优点：
(51)解耦：生产者和消费者互不依赖；
(52)支持并发：在多核处理器中，可以并行运行；
(53)支持忙闲不均：若IO操作较慢，来不及处理，缓冲区可以存放一部分数据。
(6)产生的预警信息直观地展示给用户，方便用户及时处理可能出现问题的终端。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (18)

1.一种通用指标类自动监控预警方法，其特征在于，包括：
从数据库读取预设的对象指标预警规则；
数据收集流程：根据预设的对象指标预警规则进行数据收集，将收集的原始对象指标数据发往数据缓冲队列；
IO入库流程：检测数据缓冲队列，使用事务模式将所述原始对象指标数据批量入库，在所有原始对象指标数据批量入库后，通知数据收集流程，开始数据分析流程；
数据分析流程：从数据库中获取原始对象指标数据和预设的对象指标预警规则，根据原始对象指标数据和预设的对象指标预警规则确定预警信息，将所述预警信息发送至预警缓冲队列；
预警IO流程：检测预警缓冲队列，使用事务模式将所述预警信息批量入库，或，将所述预警信息发送至预警处理人员；
其中，数据收集流程和IO入库流程为两个独立并行处理流程，IO入库流程与数据分析流程为两个独立并行处理流程；数据分析流程与预警IO流程为两个独立并行处理流程。
2.如权利要求1所述的通用指标类自动监控预警方法，其特征在于，所述预设的对象指标预警规则通过浏览器界面由用户配置。
3.如权利要求2所述的通用指标类自动监控预警方法，其特征在于，通过浏览器界面接收用户配置的对象属性、指标属性，将所述配置的对象属性存入对象属性表，将所述配置的指标属性存入指标属性表；
根据所述配置的对象属性和所述配置的指标属性确定对象指标预警规则，将所述对象指标预警规则存入对象指标预警规则表中。
4.如权利要求1所述的通用指标类自动监控预警方法，其特征在于，当进行分布式数据采集时，数据收集流程：根据预设的对象指标预警规则从分布式设备中进行数据收集，将收集的原始对象指标数据进行汇总，将汇总后的对象指标数据发往数据缓冲队列。
5.如权利要求3所述的通用指标类自动监控预警方法，其特征在于，将所述原始对象指标数据批量入库后，还包括：
将所述原始对象指标数据存入对象指标原始数据表中；
从数据库中获取原始对象指标数据和预设的对象指标预警规则，根据原始对象指标数据和预设的对象指标预警规则确定预警信息，包括：
从数据库中获取对象指标原始数据表和对象指标预警规则表，将对象指标原始数据表和对象指标预警规则表进行关联，汇总分析出当前检查时间点符合规则的预警信息，将所述预警信息存入新预警hash表中；
在原始对象指标预警表中查询所有活动预警信息，将所述所有活动预警信息存入旧预警hash表中，其中，所述活动预警表示未清除的预警；
将新预警hash表与旧预警hash表进行比对，根据比对结果确定预警处理信息。
6.如权利要求5所述的通用指标类自动监控预警方法，其特征在于，将新预警hash表与旧预警hash表进行比对，根据比对结果确定预警处理信息，包括：
属于新预警hash表但是不属于旧预警hash表的预警信息，表明该预警信息不存在于现网当中，该预警信息作为全新预警处理；
属于新预警hash表和旧预警hash表的交集的预警信息，表明该预警信息存在于现网当中，该预警信息作为预警次数增加处理；
属于旧预警hash表但是不属于新预警hash表的预警信息，表明当前检查时间点未出现预警，该预警信息作为清除预警处理。
7.如权利要求1所述的通用指标类自动监控预警方法，其特征在于，还包括：将所述预警信息通过浏览器界面展示给用户。
8.如权利要求7所述的通用指标类自动监控预警方法，其特征在于，还包括：
接收用户通过浏览器界面为所述预警信息设置的预警处理状态，其中，所述预警处理状态包括挂起中、预警中和已结束，所述挂起中表明预警信息不需要再进行处理，所述预警中表明预警在持续中仍没有解除预警，所述已结束表明预警已解除。
9.一种通用指标类自动监控预警装置，其特征在于，包括：
预警规则读取模块，用于从数据库读取预设的对象指标预警规则；
数据收集模块，用于执行数据收集流程：根据预设的对象指标预警规则进行数据收集，将收集的原始对象指标数据发往数据缓冲队列；
数据缓冲队列，用于缓存原始对象指标数据；
IO操作模块，用于执行IO入库流程：检测数据缓冲队列，使用事务模式将所述原始对象指标数据批量入库，在所有原始对象指标数据批量入库后，通知数据收集流程，开始数据分析流程；
数据分析模块，用于执行数据分析流程：从数据库中获取原始对象指标数据和预设的对象指标预警规则，根据原始对象指标数据和预设的对象指标预警规则确定预警信息，将所述预警信息发送至预警缓冲队列；
预警缓冲队列，用于缓存预警信息；
所述IO操作模块，还用于执行预警IO流程：检测预警缓冲队列，使用事务模式将所述预警信息批量入库，或，将所述预警信息发送至预警处理人员；
其中，数据收集流程和IO入库流程为两个独立并行处理流程，IO入库流程与数据分析流程为两个独立并行处理流程；数据分析流程与预警IO流程为两个独立并行处理流程。
10.如权利要求9所述的通用指标类自动监控预警装置，其特征在于，还包括：配置展示模块，用于通过浏览器界面接收用户配置的所述预设的对象指标预警规则。
11.如权利要求10所述的通用指标类自动监控预警装置，其特征在于，所述配置展示模块具体用于：
通过浏览器界面接收用户配置的对象属性、指标属性，将所述配置的对象属性存入对象属性表，将所述配置的指标属性存入指标属性表；
根据所述配置的对象属性和所述配置的指标属性确定对象指标预警规则，将所述对象指标预警规则存入对象指标预警规则表中。
12.如权利要求9所述的通用指标类自动监控预警装置，其特征在于，所述数据收集模块具体用于：
当进行分布式数据采集时，执行如下数据收集流程：根据预设的对象指标预警规则从分布式设备中进行数据收集，将收集的原始对象指标数据进行汇总，将汇总后的对象指标数据发往数据缓冲队列。
13.如权利要求10所述的通用指标类自动监控预警装置，其特征在于，所述IO操作模块还用于：
将所述原始对象指标数据批量入库后，将所述原始对象指标数据存入对象指标原始数据表中；
所述数据分析模块具体用于：
从数据库中获取对象指标原始数据表和对象指标预警规则表，将对象指标原始数据表和对象指标预警规则表进行关联，汇总分析出当前检查时间点符合规则的预警信息，将所述预警信息存入新预警hash表中；
在原始对象指标预警表中查询所有活动预警信息，将所述所有活动预警信息存入旧预警hash表中，其中，所述活动预警表示未清除的预警；
将新预警hash表与旧预警hash表进行比对，根据比对结果确定预警处理信息。
14.如权利要求13所述的通用指标类自动监控预警装置，其特征在于，所述数据分析模块具体用于：
按照如下方式将新预警hash表与旧预警hash表进行比对，根据比对结果确定预警处理信息：
属于新预警hash表但是不属于旧预警hash表的预警信息，表明该预警信息不存在于现网当中，该预警信息作为全新预警处理；
属于新预警hash表和旧预警hash表的交集的预警信息，表明该预警信息存在于现网当中，该预警信息作为预警次数增加处理；
属于旧预警hash表但是不属于新预警hash表的预警信息，表明当前检查时间点未出现预警，该预警信息作为清除预警处理。
15.如权利要求10所述的通用指标类自动监控预警装置，其特征在于，所述配置展示模块还用于：将所述预警信息通过浏览器界面展示给用户。
16.如权利要求15所述的通用指标类自动监控预警装置，其特征在于，所述配置展示模块还用于：
接收用户通过浏览器界面为所述预警信息设置的预警处理状态，其中，所述预警处理状态包括挂起中、预警中和已结束，所述挂起中表明预警信息不需要再进行处理，所述预警中表明预警在持续中仍没有解除预警，所述已结束表明预警已解除。
17.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8任一项所述方法。
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至8任一项所述方法的计算机程序。
CN201911086651.6A 2019-11-08 2019-11-08 通用指标类自动监控预警方法及装置 Active CN111221890B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911086651.6A CN111221890B (zh) 2019-11-08 2019-11-08 通用指标类自动监控预警方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911086651.6A CN111221890B (zh) 2019-11-08 2019-11-08 通用指标类自动监控预警方法及装置

Publications (2)

Publication Number Publication Date
CN111221890A true CN111221890A (zh) 2020-06-02
CN111221890B CN111221890B (zh) 2024-03-12

Family

ID=70830627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911086651.6A Active CN111221890B (zh) 2019-11-08 2019-11-08 通用指标类自动监控预警方法及装置

Country Status (1)

Country Link
CN (1) CN111221890B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381518A (zh) * 2020-11-19 2021-02-19 平安科技（深圳）有限公司 事件驱动预警方法、装置、设备及存储介质
CN112835880A (zh) * 2021-01-28 2021-05-25 山东浪潮通软信息科技有限公司 一种基于SaaS的监控预警系统、方法及设备
CN113110949A (zh) * 2021-04-29 2021-07-13 中科院计算所南京研究院 单终端多流程并存处理方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016090929A1 (zh) * 2014-12-10 2016-06-16 中兴通讯股份有限公司 软件系统故障诊断方法、服务器及系统
CN106202444A (zh) * 2016-07-14 2016-12-07 浪潮软件股份有限公司 一种数据库运维监控的实现方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016090929A1 (zh) * 2014-12-10 2016-06-16 中兴通讯股份有限公司 软件系统故障诊断方法、服务器及系统
CN106202444A (zh) * 2016-07-14 2016-12-07 浪潮软件股份有限公司 一种数据库运维监控的实现方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
邱忠洋;付林;吴晶璐;陈宏波;: "基于移动客户端的气象预警预报系统设计与实现", 湖北农业科学 *
钟群鹏;张峥;有移亮;: "我国安全生产(含安全制造)的科学发展若干问题", 机械工程学报 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381518A (zh) * 2020-11-19 2021-02-19 平安科技（深圳）有限公司 事件驱动预警方法、装置、设备及存储介质
WO2022105112A1 (zh) * 2020-11-19 2022-05-27 平安科技（深圳）有限公司 事件驱动预警方法、装置、设备及存储介质
CN112835880A (zh) * 2021-01-28 2021-05-25 山东浪潮通软信息科技有限公司 一种基于SaaS的监控预警系统、方法及设备
CN113110949A (zh) * 2021-04-29 2021-07-13 中科院计算所南京研究院 单终端多流程并存处理方法和装置
CN113110949B (zh) * 2021-04-29 2023-10-13 中科南京信息高铁研究院 单终端多流程并存处理方法和装置

Also Published As

Publication number Publication date
CN111221890B (zh) 2024-03-12

Similar Documents

Publication Publication Date Title
EP3425524A1 (en) Cloud platform-based client application data calculation method and device
CN111221890A (zh) 通用指标类自动监控预警方法及装置
CN110442498B (zh) 异常数据节点的定位方法、装置、存储介质及计算机设备
CN107810500A (zh) 数据质量分析
CN113051147A (zh) 一种数据库集群的监控方法、装置、系统、以及设备
CN109376139A (zh) 数据库集中监控方法、计算机装置及存储介质
JP2020057416A (ja) 分散データベースにおけるデータブロックを処理する方法およびデバイス
CN111984495A (zh) 一种大数据监控方法、装置和存储介质
CN111414351A (zh) 一种MySQL数据库的性能诊断方法及装置
CN107798086B (zh) 服务器信息更新方法、装置、系统及电子设备
CN112433888A (zh) 数据处理方法及装置、存储介质和电子设备
CN109933798B (zh) 一种审计日志分析方法及装置
CN115269519A (zh) 一种日志检测方法、装置及电子设备
CN115718732A (zh) 一种磁盘文件管理方法、装置、设备及存储介质
CN112667149B (zh) 一种数据热度感知方法、装置、设备及介质
CN115185778A (zh) 数据库的监控方法及装置
CN114661562A (zh) 一种数据告警方法、装置、设备及介质
CN114428812A (zh) 报表数据监控方法、装置、设备及存储介质
CN114077532A (zh) 一种sql语句执行效率检测方法及装置
CN110795261B (zh) 虚拟磁盘故障的检测方法和装置
CN113986656A (zh) 一种基于数据中台的电网数据安全监测系统
CN111290909A (zh) 一种对ceph集群进行监控和告警的系统及方法
CN112448840A (zh) 一种通信数据质量监控方法、装置、服务器及存储介质
CN115658626B (zh) 一种分布式网络小文件存储管理方法
CN113641670B (zh) 数据存储及数据检索方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant