CN102611565A - 一种基于正则表达式的监控系统告警关联分析方法 - Google Patents
一种基于正则表达式的监控系统告警关联分析方法 Download PDFInfo
- Publication number
- CN102611565A CN102611565A CN201110316658XA CN201110316658A CN102611565A CN 102611565 A CN102611565 A CN 102611565A CN 201110316658X A CN201110316658X A CN 201110316658XA CN 201110316658 A CN201110316658 A CN 201110316658A CN 102611565 A CN102611565 A CN 102611565A
- Authority
- CN
- China
- Prior art keywords
- alarm
- rule
- metadata
- analysis
- regular expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 13
- 238000012544 monitoring process Methods 0.000 title abstract description 9
- 238000010219 correlation analysis Methods 0.000 title abstract 5
- 238000004458 analytical method Methods 0.000 claims abstract description 14
- 239000000284 extract Substances 0.000 claims abstract 2
- 238000012098 association analyses Methods 0.000 claims description 20
- 230000008878 coupling Effects 0.000 claims description 4
- 238000010168 coupling process Methods 0.000 claims description 4
- 238000005859 coupling reaction Methods 0.000 claims description 4
- 239000002131 composite material Substances 0.000 claims 2
- 238000005538 encapsulation Methods 0.000 claims 1
- 238000004806 packaging method and process Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 2
- 238000012097 association analysis method Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000007306 functionalization reaction Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种基于正则表达式的监控系统告警关联分析的方法，通过正则表达式构建告警元模型、定义关联规则，实时进行规则解析匹配涉，实现监控系统下的故障根源定位、影响范围预警。本发明将原本积累在监控人员知识范畴中的告警分析经验在监控系统中集中实现，解决了传统监控系统关联分析不能灵活定制规则，海量告警信息无法快速进行问题定位、故障排除的问题。主要步骤包括：关联规则模块遍历模型库，封装告警元数据（时间、地点、告警发生源、告警类型等）；关联规则模块组合元数据，形成关联分析规则；分析模块获取告警信息，匹配正则表达式，提取元数据；分析模块组合元数据，匹配规则，得到关联分析结果。
Description
技术领域
本发明涉及一种基于正则表达式的监控系统告警关联分析技术。
背景技术
传统的监控系统主要关注告警数据的及时性和正确性，一般采用实推实送、实时展示的方式将源告警实时地向监控人员罗列监控对象发生的告警信息，保证告警信息的及时性；通过人工巡检、检验比对的方式核查告警信息的正确性，根除错报误报现象。当监控对象基数较大、监控告警种类较多的时候，监控人员只能通过手工地逐条排查，根据自身积累的经验在海量告警信息中发现问题发生的根源，如果监控系统可以将监控人员的经验系统化、功能化，自动地完成告警的关联分析，排除次要的连带告警，定位问题根源、预示问题的影响范围，则能很好地帮助监控人员实现问题的快速定位、快速解决。
本发明基于正则表达式实现了监控系统的告警关联分析，通过规则定义与解析，在不影响告警数据的及时性和正确性的同时，增强了监控系统告警根源定位、告警影响范围预警的关联分析能力。
发明内容
本发明的目的在于针对传统监管系统监控在处理海量告警信息时问题根源定位、影响范围预警方面存在的弱点，提出一种在保证告警数据及时性和正确性的前提下，基于正则表达式实现的告警关联分析技术。关联规则模块根据告警的关键属性预定义组成标准告警的多个告警元项、多组告警元数据以及元数据对应的正则表达式，并组合告警元数据形成关联分析规则，供分析模块调用。分析模块在获取监控对象生成的告警的时候，根据元数据对应的正则表达式解析告警信息，细化出告警元数据。通过细粒度较高的元数据进行规则查询和筛选，并将关联分析结果通过JDBC持久化到数据库供监控系统展示。
本发明的数据结构基于告警库对告警的模型定义和资源库对监控对象的模型定义，告警模型如告警级别、告警分类等；监控对象的模型如主机设备、交换机、路由器以及对监控对象的唯一性标识，比如交换机的IP，主机设备的主机名，数据库的实例名、所在服务器IP等。数据库中存有对监控对象、告警的模型定义。
本发明中关联分析基于这样的模型定义，预生成多个告警元项，并从资源模型、告警模型中获取告警元数据。数据库中，告警元数据按照监控对象标识、告警分类、告警级别的对应关系进行结构化存储，供生成关联规则使用，可以通过SQL语句进行条件查询获取数据。
本发明首先在关联规则模块进行告警元数据的查询，并将每个告警元数据生成一个全局唯一的正则表达式与其对应，供分析模块解析告警信息时使用，然后监控人员根据日常监控积累的经验组合元数据生成关联规则，规则内容为{元数据组合1、元数据组合2……}源于/影响{元数据组合3、元数据组合4……}。元数据查询与对应正则表达式的生成是通过定时调度任务轮询完成初始化与更新，关联规则的生成由监控人员人工干预生成。
分析模块在接收到监控对象产生的告警后，通过JDBC轮询访问数据库，获取告警元数据对应的正则表达式，通过正则表达式的匹配从告警信息中剥离出当前处理的告警元数据并组合；然后分析模块从关联规则模块中获取预定义的关联规则，元数据组合与预定义规则匹配过滤，得到该告警元数据组合的根源告警元数据组合与影响告警元数据组合，结果集通过JDBC持久化到数据库中，供前台页面展示使用。
本发明采用这种基于正则表达式的告警关联分析引擎技术，将积累在监控人员知识中的告警分析和运维经验在监控系统中集中实现，达到了信息化、自动化，方便了监控人员快速定位、解决故障。
附图说明
图1 实时流程图；
图2 资源模型；
图3 告警模型；
图4 告警元项1；
图5 告警元项2；
图6 关联分析规则。
具体实施方式
以下结合附图，举一具体实例对本发明的告警关联分析技术做进一步说明。
图1所示为该实例整个处理流程。
a:本实例中，如图2所示，资源模型库中有100个资源以及与其对应的100个资源标识，分别用来唯一性标识100个资源。如图3所示，告警模型库中有10类告警以及7种告警级别。
遍历100个资源，读取出资源标识，封装成如图4所示的告警元项数据结构。遍历告警模型，读取出告警分类与告警级别，封装成如图5所示的告警元项数据结构。每个告警元数据都会自动生成与其对应的正则表达式。
组合告警元数据，监控人员人工参与，定制出告警关联分析规则，封装成如图6所示的告警关联分析规则数据结构。
b:分析模块从关联规则模块获取告警元数据对应的正则表达式，收到告警信息后，进行正则表达式的匹配，得到告警信息中所有的告警元数据。
分析模块从关联规则模块获取告警关联分析规则，将解析得到的告警元数据组合轮询匹配告警关联分析规则，得到该条告警的根源告警元数据组合以及影响范围告警元数据组合，供监控系统展示该条告警的根源分析以及影响范围预警结果。
该实例中，如果采用传统的监控系统告警接收展示方式，监控人员无法快速从100个资源、10种分类、7个级别的海量告警信息中获取有效的信息，通过基于正则表达式的告警关联分析技术，监控人员可以快速地定位、解决故障根源并掌握故障发生的影响范围。
Claims (2)
1.一种基于正则表达式的监控系统告警关联分析的方法，其特征在于，包括以下步骤
1）关联规则模块遍历模型库，封装告警元数据；
2）关联模块组合元数据，形成关联分析规则；
3）分析模块获取告警信息，匹配正则表达式，提取元数据；
4）分析模块组合元数据，匹配规则，得到关联分析结果。
2.根据权利要求1所述的一种基于正则表达式的监控系统告警关联分析的方法，其特征在于，所述步骤1）、2）进一步包括：基于资源与告警模型定义，预生成多个告警元项，并从资源模型、告警模型中获取告警元数据以及与其对应的正则表达式；数据库中，告警元数据按照监控对象标识、告警分类、告警级别的对应关系进行结构化存储，供生成关联规则使用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110316658.XA CN102611565B (zh) | 2011-10-18 | 2011-10-18 | 一种基于正则表达式的监控系统告警关联分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110316658.XA CN102611565B (zh) | 2011-10-18 | 2011-10-18 | 一种基于正则表达式的监控系统告警关联分析方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102611565A true CN102611565A (zh) | 2012-07-25 |
| CN102611565B CN102611565B (zh) | 2015-07-08 |
Family
ID=46528737
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201110316658.XA Active CN102611565B (zh) | 2011-10-18 | 2011-10-18 | 一种基于正则表达式的监控系统告警关联分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102611565B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104022903A (zh) * | 2014-06-13 | 2014-09-03 | 中国民航信息网络股份有限公司 | 一站式自动化运维系统 |
| CN104537015A (zh) * | 2014-12-19 | 2015-04-22 | 电信科学技术第十研究所 | 一种日志分析的计算机实现的方法、计算机和系统 |
| CN105653531A (zh) * | 2014-11-12 | 2016-06-08 | 中兴通讯股份有限公司 | 数据提取方法及装置 |
| CN105678475A (zh) * | 2016-03-01 | 2016-06-15 | 中国联合网络通信集团有限公司 | 风险预警方法和设备 |
| CN106156046A (zh) * | 2015-03-27 | 2016-11-23 | 中国移动通信集团云南有限公司 | 一种信息化管理方法、装置、系统及分析设备 |
| CN106708693A (zh) * | 2015-11-16 | 2017-05-24 | 亿阳信通股份有限公司 | 一种告警数据处理方法及装置 |
| CN107633004A (zh) * | 2017-08-07 | 2018-01-26 | 国网新疆电力公司信息通信公司 | 数据监控方法及装置 |
| CN103618652B (zh) * | 2013-12-17 | 2018-03-20 | 沈阳觉醒软件有限公司 | 一种业务数据的审计和深度分析系统及其方法 |
| CN109756376A (zh) * | 2019-01-11 | 2019-05-14 | 中电福富信息科技有限公司 | 基于图数据模型的告警关联分析方法 |
| CN110362455A (zh) * | 2019-07-15 | 2019-10-22 | 北京奇艺世纪科技有限公司 | 一种数据处理方法和数据处理装置 |
| CN112905590A (zh) * | 2021-02-02 | 2021-06-04 | 武汉依迅北斗时空技术股份有限公司 | 报警信息处理方法及系统、电子设备和存储介质 |
| CN114094708A (zh) * | 2021-11-25 | 2022-02-25 | 广东电网有限责任公司东莞供电局 | 一种电网设备关联告警方法及系统 |
| CN115499245A (zh) * | 2022-11-16 | 2022-12-20 | 广东电网有限责任公司江门供电局 | 一种基于关联检测的事中实时告警方法和系统 |
| CN117155772A (zh) * | 2023-10-27 | 2023-12-01 | 广州嘉为科技有限公司 | 一种告警信息丰富方法、装置、设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101355451A (zh) * | 2008-09-09 | 2009-01-28 | 中兴通讯股份有限公司 | 一种告警相关性分析方法及系统 |
| CN101938366A (zh) * | 2009-06-30 | 2011-01-05 | 中兴通讯股份有限公司 | 一种实现关联告警的方法及装置 |
| CN101968800A (zh) * | 2010-09-21 | 2011-02-09 | 北京空间飞行器总体设计部 | 基于元数据驱动的动态表单方法 |
-
2011
- 2011-10-18 CN CN201110316658.XA patent/CN102611565B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101355451A (zh) * | 2008-09-09 | 2009-01-28 | 中兴通讯股份有限公司 | 一种告警相关性分析方法及系统 |
| CN101938366A (zh) * | 2009-06-30 | 2011-01-05 | 中兴通讯股份有限公司 | 一种实现关联告警的方法及装置 |
| CN101968800A (zh) * | 2010-09-21 | 2011-02-09 | 北京空间飞行器总体设计部 | 基于元数据驱动的动态表单方法 |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103618652B (zh) * | 2013-12-17 | 2018-03-20 | 沈阳觉醒软件有限公司 | 一种业务数据的审计和深度分析系统及其方法 |
| CN104022903A (zh) * | 2014-06-13 | 2014-09-03 | 中国民航信息网络股份有限公司 | 一站式自动化运维系统 |
| CN105653531A (zh) * | 2014-11-12 | 2016-06-08 | 中兴通讯股份有限公司 | 数据提取方法及装置 |
| CN105653531B (zh) * | 2014-11-12 | 2020-02-07 | 中兴通讯股份有限公司 | 数据提取方法及装置 |
| CN104537015A (zh) * | 2014-12-19 | 2015-04-22 | 电信科学技术第十研究所 | 一种日志分析的计算机实现的方法、计算机和系统 |
| CN106156046B (zh) * | 2015-03-27 | 2021-03-30 | 中国移动通信集团云南有限公司 | 一种信息化管理方法、装置、系统及分析设备 |
| CN106156046A (zh) * | 2015-03-27 | 2016-11-23 | 中国移动通信集团云南有限公司 | 一种信息化管理方法、装置、系统及分析设备 |
| CN106708693A (zh) * | 2015-11-16 | 2017-05-24 | 亿阳信通股份有限公司 | 一种告警数据处理方法及装置 |
| CN105678475B (zh) * | 2016-03-01 | 2019-09-10 | 中国联合网络通信集团有限公司 | 风险预警方法和设备 |
| CN105678475A (zh) * | 2016-03-01 | 2016-06-15 | 中国联合网络通信集团有限公司 | 风险预警方法和设备 |
| CN107633004A (zh) * | 2017-08-07 | 2018-01-26 | 国网新疆电力公司信息通信公司 | 数据监控方法及装置 |
| CN109756376A (zh) * | 2019-01-11 | 2019-05-14 | 中电福富信息科技有限公司 | 基于图数据模型的告警关联分析方法 |
| CN110362455A (zh) * | 2019-07-15 | 2019-10-22 | 北京奇艺世纪科技有限公司 | 一种数据处理方法和数据处理装置 |
| CN112905590A (zh) * | 2021-02-02 | 2021-06-04 | 武汉依迅北斗时空技术股份有限公司 | 报警信息处理方法及系统、电子设备和存储介质 |
| CN114094708A (zh) * | 2021-11-25 | 2022-02-25 | 广东电网有限责任公司东莞供电局 | 一种电网设备关联告警方法及系统 |
| CN115499245A (zh) * | 2022-11-16 | 2022-12-20 | 广东电网有限责任公司江门供电局 | 一种基于关联检测的事中实时告警方法和系统 |
| CN117155772A (zh) * | 2023-10-27 | 2023-12-01 | 广州嘉为科技有限公司 | 一种告警信息丰富方法、装置、设备及存储介质 |
| CN117155772B (zh) * | 2023-10-27 | 2024-01-30 | 广州嘉为科技有限公司 | 一种告警信息丰富方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102611565B (zh) | 2015-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102611565A (zh) | 一种基于正则表达式的监控系统告警关联分析方法 | |
| CN111464336B (zh) | 一种基于电力通信机房高并发数据处理方法及系统 | |
| Yang et al. | A system architecture for manufacturing process analysis based on big data and process mining techniques | |
| CN108197261A (zh) | 一种智慧交通操作系统 | |
| CN106681300B (zh) | 一种电力设备的数据聚类分析方法和系统 | |
| CN106371986A (zh) | 一种日志处理运维监控系统 | |
| CN107995049A (zh) | 电力安全区跨区同步故障监测方法、装置和系统 | |
| CN103825755B (zh) | 电力二次系统的建模方法与系统 | |
| CN104036365A (zh) | 一种企业级数据服务平台建设方法 | |
| CN104135387A (zh) | 一种基于元模型拓扑的网管数据处理可视化监控方法 | |
| CN106021613A (zh) | 一种基于Hadoop的桥梁健康监测系统 | |
| CN104486406A (zh) | 一种基于云数据中心的分层式资源监控方法 | |
| CN114356940B (zh) | 电网数据治理系统及方法 | |
| CN101145944B (zh) | 一种实现告警处理的方法 | |
| CN108965208A (zh) | 基于相关性分析的日志审计方法 | |
| CN104468193A (zh) | 一种基于组件发现对业务系统进行监控的方法 | |
| CN107330017A (zh) | 一种基于主题实例的电力海量数据存储和查询统计分析方法及其系统 | |
| CN107548087A (zh) | 一种告警关联分析的方法及装置 | |
| CN105632248A (zh) | 一种安全监控系统及其数据处理方法 | |
| CN105553691A (zh) | 一种基于电力监管信息的监控告警实现方法 | |
| CN105069158B (zh) | 数据挖掘方法及系统 | |
| CN109408448A (zh) | 一种能够对数据进行集中处理一体化数据展现平台 | |
| CN103530824B (zh) | 一种基于模板数据库的变电站智能告警系统的模板知识库生产方法 | |
| CN104408890A (zh) | 电力系统的告警处理方法及装置 | |
| CN107341198A (zh) | 一种基于主题实例的电力海量数据存储和查询方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| ASS | Succession or assignment of patent right |
Owner name: STATE GRID ELECTRIC POWER RESEARCH INSITITUTE NANJ Free format text: FORMER OWNER: NANJING NARI CO., LTD. SHENZHEN POWER SUPPLY BUREAU OF GUANGDONG POWER GRID CORPORATION Effective date: 20130613 Owner name: SHENZHEN POWER SUPPLY CO., LTD. Free format text: FORMER OWNER: STATE GRID ELECTRIC POWER RESEARCH INSITITUTE Effective date: 20130613 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| COR | Change of bibliographic data |
Free format text: CORRECT: ADDRESS; FROM: 210003 NANJING, JIANGSU PROVINCE TO: 518001 SHENZHEN, GUANGDONG PROVINCE |
|
| TA01 | Transfer of patent application right |
Effective date of registration: 20130613 Address after: Luohu District Shenzhen Shennan Road 518001 No. 4020 in Guangdong Province Applicant after: Shenzhen Power Supply Co.,Ltd. Applicant after: STATE GRID ELECTRIC POWER Research Institute Applicant after: NANJING NARI Group Corp. Address before: Nan Shui Road Gulou District of Nanjing city of Jiangsu Province, No. 8 210003 Applicant before: STATE GRID ELECTRIC POWER Research Institute Applicant before: NANJING NARI Group Corp. Applicant before: SHENZHEN POWER SUPPLY BUREAU OF GUANGDONG POWER GRID Corp. |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |