CN102611565B - 一种基于正则表达式的监控系统告警关联分析方法 - Google Patents

一种基于正则表达式的监控系统告警关联分析方法 Download PDF

Info

Publication number
CN102611565B
CN102611565B CN201110316658.XA CN201110316658A CN102611565B CN 102611565 B CN102611565 B CN 102611565B CN 201110316658 A CN201110316658 A CN 201110316658A CN 102611565 B CN102611565 B CN 102611565B
Authority
CN
China
Prior art keywords
alarm
metadata
rule
regular expression
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110316658.XA
Other languages
English (en)
Other versions
CN102611565A (zh
Inventor
唐汗青
严晴
盛红雷
谷金颖
唐海荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Power Supply Bureau Co Ltd
Nanjing NARI Group Corp
State Grid Electric Power Research Institute
Original Assignee
Shenzhen Power Supply Bureau Co Ltd
Nanjing NARI Group Corp
State Grid Electric Power Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Power Supply Bureau Co Ltd, Nanjing NARI Group Corp, State Grid Electric Power Research Institute filed Critical Shenzhen Power Supply Bureau Co Ltd
Priority to CN201110316658.XA priority Critical patent/CN102611565B/zh
Publication of CN102611565A publication Critical patent/CN102611565A/zh
Application granted granted Critical
Publication of CN102611565B publication Critical patent/CN102611565B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种基于正则表达式的监控系统告警关联分析的方法,通过正则表达式构建告警元模型、定义关联规则,实时进行规则解析匹配涉,实现监控系统下的故障根源定位、影响范围预警。本发明将原本积累在监控人员知识范畴中的告警分析经验在监控系统中集中实现,解决了传统监控系统关联分析不能灵活定制规则,海量告警信息无法快速进行问题定位、故障排除的问题。主要步骤包括:关联规则模块遍历模型库,封装告警元数据(时间、地点、告警发生源、告警类型等);关联规则模块组合元数据,形成关联分析规则;分析模块获取告警信息,匹配正则表达式,提取元数据;分析模块组合元数据,匹配规则,得到关联分析结果。

Description

一种基于正则表达式的监控系统告警关联分析方法
技术领域
本发明涉及一种基于正则表达式的监控系统告警关联分析技术。
背景技术
传统的监控系统主要关注告警数据的及时性和正确性,一般采用实推实送、实时展示的方式将源告警实时地向监控人员罗列监控对象发生的告警信息,保证告警信息的及时性;通过人工巡检、检验比对的方式核查告警信息的正确性,根除错报误报现象。当监控对象基数较大、监控告警种类较多的时候,监控人员只能通过手工地逐条排查,根据自身积累的经验在海量告警信息中发现问题发生的根源,如果监控系统可以将监控人员的经验系统化、功能化,自动地完成告警的关联分析,排除次要的连带告警,定位问题根源、预示问题的影响范围,则能很好地帮助监控人员实现问题的快速定位、快速解决。
本发明基于正则表达式实现了监控系统的告警关联分析,通过规则定义与解析,在不影响告警数据的及时性和正确性的同时,增强了监控系统告警根源定位、告警影响范围预警的关联分析能力。
发明内容
本发明的目的在于针对传统监管系统监控在处理海量告警信息时问题根源定位、影响范围预警方面存在的弱点,提出一种在保证告警数据及时性和正确性的前提下,基于正则表达式实现的告警关联分析技术。关联规则模块根据告警的关键属性预定义组成标准告警的多个告警元项、多组告警元数据以及元数据对应的正则表达式,并组合告警元数据形成关联分析规则,供分析模块调用。分析模块在获取监控对象生成的告警的时候,根据元数据对应的正则表达式解析告警信息,细化出告警元数据。通过细粒度较高的元数据进行规则查询和筛选,并将关联分析结果通过JDBC持久化到数据库供监控系统展示。
本发明的数据结构基于告警库对告警的模型定义和资源库对监控对象的模型定义,告警模型如告警级别、告警分类等;监控对象的模型如主机设备、交换机、路由器以及对监控对象的唯一性标识,比如交换机的IP,主机设备的主机名,数据库的实例名、所在服务器IP等。数据库中存有对监控对象、告警的模型定义。
本发明中关联分析基于这样的模型定义,预生成多个告警元项,并从资源模型、告警模型中获取告警元数据。数据库中,告警元数据按照监控对象标识、告警分类、告警级别的对应关系进行结构化存储,供生成关联规则使用,可以通过SQL语句进行条件查询获取数据。
本发明首先在关联规则模块进行告警元数据的查询,并将每个告警元数据生成一个全局唯一的正则表达式与其对应,供分析模块解析告警信息时使用,然后监控人员根据日常监控积累的经验组合元数据生成关联规则,规则内容为{元数据组合1、元数据组合2……}源于/影响{元数据组合3、元数据组合4……}。元数据查询与对应正则表达式的生成是通过定时调度任务轮询完成初始化与更新,关联规则的生成由监控人员人工干预生成。
分析模块在接收到监控对象产生的告警后,通过JDBC轮询访问数据库,获取告警元数据对应的正则表达式,通过正则表达式的匹配从告警信息中剥离出当前处理的告警元数据并组合;然后分析模块从关联规则模块中获取预定义的关联规则,元数据组合与预定义规则匹配过滤,得到该告警元数据组合的根源告警元数据组合与影响告警元数据组合,结果集通过JDBC持久化到数据库中,供前台页面展示使用。
本发明采用这种基于正则表达式的告警关联分析引擎技术,将积累在监控人员知识中的告警分析和运维经验在监控系统中集中实现,达到了信息化、自动化,方便了监控人员快速定位、解决故障。
附图说明
图1 实时流程图;
图2 资源模型;
图3 告警模型;
图4 告警元项1;
图5 告警元项2;
图6 关联分析规则。
具体实施方式
以下结合附图,举一具体实例对本发明的告警关联分析技术做进一步说明。
图1所示为该实例整个处理流程。
a:本实例中,如图2所示,资源模型库中有100个资源以及与其对应的100个资源标识,分别用来唯一性标识100个资源。如图3所示,告警模型库中有10类告警以及7种告警级别。
遍历100个资源,读取出资源标识,封装成如图4所示的告警元项数据结构。遍历告警模型,读取出告警分类与告警级别,封装成如图5所示的告警元项数据结构。每个告警元数据都会自动生成与其对应的正则表达式。
组合告警元数据,监控人员人工参与,定制出告警关联分析规则,封装成如图6所示的告警关联分析规则数据结构。
b:分析模块从关联规则模块获取告警元数据对应的正则表达式,收到告警信息后,进行正则表达式的匹配,得到告警信息中所有的告警元数据。
分析模块从关联规则模块获取告警关联分析规则,将解析得到的告警元数据组合轮询匹配告警关联分析规则,得到该条告警的根源告警元数据组合以及影响范围告警元数据组合,供监控系统展示该条告警的根源分析以及影响范围预警结果。
该实例中,如果采用传统的监控系统告警接收展示方式,监控人员无法快速从100个资源、10种分类、7个级别的海量告警信息中获取有效的信息,通过基于正则表达式的告警关联分析技术,监控人员可以快速地定位、解决故障根源并掌握故障发生的影响范围。

Claims (1)

1.一种基于正则表达式的监控系统告警关联分析方法,其特征在于,包括以下步骤:
1)基于告警库对告警进行模型定义,基于资源库对监控对象进行模型定义,告警模型包括告警级别和告警分类,监控对象的模型包括主机设备、交换机、路由器以及对监控对象的唯一性标识,形成数据结构存在数据库中;
2)根据步骤1)中的模型定义,预生成多个告警元项,并从资源模型、告警模型中获取告警元数据;
所述告警元数据按照监控对象标识、告警分类和告警级别的对应关系进行结构化存储,供生成关联规则使用;
3)进行告警元数据的查询,并将每个告警元数据生成一个全局唯一的正则表达式与其对应,供解析告警信息时使用,然后根据日常监控积累的经验组合元数据生成关联规则;
4)接收到监控对象产生的告警后,通过JDBC 轮询访问数据库,获取告警元数据对应的正则表达式,通过正则表达式的匹配从告警信息中剥离出当前处理的告警元数据并组合;然后从关联规则模块中获取预定义的关联规则,元数据组合与预定义规则匹配过滤,得到该告警元数据组合的根源告警元数据组合与影响告警元数据组合,结果集通过JDBC 持久化到数据库中。
CN201110316658.XA 2011-10-18 2011-10-18 一种基于正则表达式的监控系统告警关联分析方法 Active CN102611565B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110316658.XA CN102611565B (zh) 2011-10-18 2011-10-18 一种基于正则表达式的监控系统告警关联分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110316658.XA CN102611565B (zh) 2011-10-18 2011-10-18 一种基于正则表达式的监控系统告警关联分析方法

Publications (2)

Publication Number Publication Date
CN102611565A CN102611565A (zh) 2012-07-25
CN102611565B true CN102611565B (zh) 2015-07-08

Family

ID=46528737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110316658.XA Active CN102611565B (zh) 2011-10-18 2011-10-18 一种基于正则表达式的监控系统告警关联分析方法

Country Status (1)

Country Link
CN (1) CN102611565B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103618652B (zh) * 2013-12-17 2018-03-20 沈阳觉醒软件有限公司 一种业务数据的审计和深度分析系统及其方法
CN104022903A (zh) * 2014-06-13 2014-09-03 中国民航信息网络股份有限公司 一站式自动化运维系统
CN105653531B (zh) * 2014-11-12 2020-02-07 中兴通讯股份有限公司 数据提取方法及装置
CN104537015A (zh) * 2014-12-19 2015-04-22 电信科学技术第十研究所 一种日志分析的计算机实现的方法、计算机和系统
CN106156046B (zh) * 2015-03-27 2021-03-30 中国移动通信集团云南有限公司 一种信息化管理方法、装置、系统及分析设备
CN106708693A (zh) * 2015-11-16 2017-05-24 亿阳信通股份有限公司 一种告警数据处理方法及装置
CN105678475B (zh) * 2016-03-01 2019-09-10 中国联合网络通信集团有限公司 风险预警方法和设备
CN107633004A (zh) * 2017-08-07 2018-01-26 国网新疆电力公司信息通信公司 数据监控方法及装置
CN109756376A (zh) * 2019-01-11 2019-05-14 中电福富信息科技有限公司 基于图数据模型的告警关联分析方法
CN110362455B (zh) * 2019-07-15 2022-12-20 北京奇艺世纪科技有限公司 一种数据处理方法和数据处理装置
CN112905590A (zh) * 2021-02-02 2021-06-04 武汉依迅北斗时空技术股份有限公司 报警信息处理方法及系统、电子设备和存储介质
CN114094708A (zh) * 2021-11-25 2022-02-25 广东电网有限责任公司东莞供电局 一种电网设备关联告警方法及系统
CN115499245B (zh) * 2022-11-16 2023-06-13 广东电网有限责任公司江门供电局 一种基于关联检测的事中实时告警方法和系统
CN117155772B (zh) * 2023-10-27 2024-01-30 广州嘉为科技有限公司 一种告警信息丰富方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101355451A (zh) * 2008-09-09 2009-01-28 中兴通讯股份有限公司 一种告警相关性分析方法及系统
CN101938366A (zh) * 2009-06-30 2011-01-05 中兴通讯股份有限公司 一种实现关联告警的方法及装置
CN101968800A (zh) * 2010-09-21 2011-02-09 北京空间飞行器总体设计部 基于元数据驱动的动态表单方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101355451A (zh) * 2008-09-09 2009-01-28 中兴通讯股份有限公司 一种告警相关性分析方法及系统
CN101938366A (zh) * 2009-06-30 2011-01-05 中兴通讯股份有限公司 一种实现关联告警的方法及装置
CN101968800A (zh) * 2010-09-21 2011-02-09 北京空间飞行器总体设计部 基于元数据驱动的动态表单方法

Also Published As

Publication number Publication date
CN102611565A (zh) 2012-07-25

Similar Documents

Publication Publication Date Title
CN102611565B (zh) 一种基于正则表达式的监控系统告警关联分析方法
CN108039959B (zh) 一种数据的态势感知方法、系统及相关装置
US20190228296A1 (en) Significant events identifier for outlier root cause investigation
CN106681300B (zh) 一种电力设备的数据聚类分析方法和系统
CN106371986A (zh) 一种日志处理运维监控系统
CN106778253A (zh) 基于大数据的威胁情景感知信息安全主动防御模型
CN110855473A (zh) 一种监控方法、装置、服务器及存储介质
CN106375149A (zh) 一种自动关联分析的云计算监控装置及方法
CN104348667A (zh) 基于告警信息的故障定位方法
CN101916499B (zh) 一种智能报警装置及智能报警方法
CN104135387A (zh) 一种基于元模型拓扑的网管数据处理可视化监控方法
CN105577411B (zh) 基于服务起源的云服务监控方法和装置
CN112738040A (zh) 一种基于dns日志的网络安全威胁检测方法、系统及装置
CN104038375A (zh) 一种广电接入网络告警处理分析系统及其分析方法
CN104917627A (zh) 一种用于大型服务器集群的日志集群扫描与分析方法
CN106534784A (zh) 一种用于视频分析数据结果集的采集分析存储统计系统
CN104468193A (zh) 一种基于组件发现对业务系统进行监控的方法
CN108337108A (zh) 一种基于关联分析的云平台故障自动化定位方法
CN105553691A (zh) 一种基于电力监管信息的监控告警实现方法
CN105488191A (zh) 一种基于大数据的信息安全管理运维服务平台的数据采集处理方法及装置
CN103617109A (zh) 探针机台日志文件的警告处理系统和方法
CN112714118B (zh) 网络流量检测方法和装置
CN107493275A (zh) 异构网络安全日志信息的自适应提取和分析方法及系统
KR101444250B1 (ko) 개인정보 접근감시 시스템 및 그 방법
CN105069158B (zh) 数据挖掘方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: STATE GRID ELECTRIC POWER RESEARCH INSITITUTE NANJ

Free format text: FORMER OWNER: NANJING NARI CO., LTD. SHENZHEN POWER SUPPLY BUREAU OF GUANGDONG POWER GRID CORPORATION

Effective date: 20130613

Owner name: SHENZHEN POWER SUPPLY CO., LTD.

Free format text: FORMER OWNER: STATE GRID ELECTRIC POWER RESEARCH INSITITUTE

Effective date: 20130613

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 210003 NANJING, JIANGSU PROVINCE TO: 518001 SHENZHEN, GUANGDONG PROVINCE

TA01 Transfer of patent application right

Effective date of registration: 20130613

Address after: Luohu District Shenzhen Shennan Road 518001 No. 4020 in Guangdong Province

Applicant after: Shenzhen Power Supply Bureau Co., Ltd.

Applicant after: State Grid Electric Power Research Insititute

Applicant after: Nanjing Nari Co., Ltd.

Address before: Nan Shui Road Gulou District of Nanjing city of Jiangsu Province, No. 8 210003

Applicant before: State Grid Electric Power Research Insititute

Applicant before: Nanjing Nari Co., Ltd.

Applicant before: Shenzhen Power Supply Bureau of Guangdong Power Grid Corporation

C14 Grant of patent or utility model
GR01 Patent grant