CN114020581A - 基于拓扑优化FP-Growth算法的告警关联方法 - Google Patents
基于拓扑优化FP-Growth算法的告警关联方法 Download PDFInfo
- Publication number
- CN114020581A CN114020581A CN202111391793.0A CN202111391793A CN114020581A CN 114020581 A CN114020581 A CN 114020581A CN 202111391793 A CN202111391793 A CN 202111391793A CN 114020581 A CN114020581 A CN 114020581A
- Authority
- CN
- China
- Prior art keywords
- alarm
- screening
- data set
- equipment
- confidence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000005457 optimization Methods 0.000 title claims abstract description 27
- 238000012216 screening Methods 0.000 claims abstract description 48
- 238000004458 analytical method Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 2
- 238000007405 data analysis Methods 0.000 abstract description 2
- 238000012423 maintenance Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/324—Display of status information
- G06F11/327—Alarm or error message display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开基于拓扑优化FP‑Growth算法的告警关联方法，涉及数据分析处理技术领域；根据设备告警数据和与告警数据相对应的设备拓扑信息生成原始数据集，筛选原始数据集，生成数据集，通过数据集按照时间顺序获得不重复的事务组合，并根据设备拓扑信息中的拓扑规则筛选直连的相关事务，生成事务集合，根据事务集合生成频繁项集，获取每个频繁项集的支持度，并生成事务组合的告警关联规则和各告警关联规则的置信度，筛选具有可信程度的置信度所对应的告警关联规则，根据筛选后的告警关联规则进行网络设备关联告警。
Description
技术领域
本发明公开一种方法，涉及数据分析处理技术领域，具体地说是基于拓扑优化FP-Growth算法的告警关联方法。
背景技术
随着网络规模的发展，网络设备以及拓扑结构变得越来越复杂。设备发生的告警也越来越多，运维人员解决设备问题的难度也大大提升。现有的FP-Growth算法根据设备告警原因进行频繁项挖掘，实现告警之间的关联，便于运维人员提前预警告警发生，以及判断告警根因，从而快速解决和定位问题。
但是当前算法是针对全部的设备告警进行关联，可能会在寻找频繁项集时，将与某设备告警无关告警混在一起，生成干扰项，从而产生不准确的结果。
发明内容
本发明针对现有技术的问题，提供基于拓扑优化FP-Growth算法的告警关联方法，提供告警关联规则，提高维护网络的效率，以及减少告警发生，实现降低维护成本，提高用户体验的目的。
本发明提出的具体方案是：
基于拓扑优化FP-Growth算法的告警关联方法，根据设备告警数据和与告警数据相对应的设备拓扑信息生成原始数据集，
筛选原始数据集，生成数据集，通过数据集按照时间顺序获得不重复的事务组合，并根据设备拓扑信息中的拓扑规则筛选直连的相关事务，生成事务集合，根据事务集合生成频繁项集，
获取每个频繁项集的支持度，并生成事务组合的告警关联规则和各告警关联规则的置信度，
筛选具有可信程度的置信度所对应的告警关联规则，根据筛选后的告警关联规则进行网络设备关联告警。
优选地，所述的基于拓扑优化FP-Growth算法的告警关联方法中所述生成原始数据集之前，包括：
从数据平台获取告警系统中指定时间范围的告警数据以及与告警数据相对应的设备拓扑信息。
优选地，所述的基于拓扑优化FP-Growth算法的告警关联方法中所述筛选原始数据集，生成数据集，包括：
筛选原始数据集，排除告警等级低的事务，生成数据集。
优选地，所述的基于拓扑优化FP-Growth算法的告警关联方法中所述筛选具有可信程度的置信度所对应的告警关联规则，包括：
根据各告警关联规则的置信度的值判断告警关联规则的可信程度，通过告警关联规则的可信程度筛选置信度对应的告警关联规则。
基于拓扑优化FP-Growth算法的告警关联系统，包括分析筛选模块和关联告警模块，
分析筛选模块根据设备告警数据和与告警数据相对应的设备拓扑信息生成原始数据集，
筛选原始数据集，生成数据集，通过数据集按照时间顺序获得不重复的事务组合，并根据设备拓扑信息中的拓扑规则筛选直连的相关事务，生成事务集合，根据事务集合生成频繁项集，
获取每个频繁项集的支持度，并生成事务组合的告警关联规则和各告警关联规则的置信度，
筛选具有可信程度的置信度所对应的告警关联规则，
关联告警模块根据筛选后的告警关联规则进行网络设备关联告警。
优选地，所述的基于拓扑优化FP-Growth算法的告警关联系统中还包括采集模块，所述采集模块在生成原始数据集之前，从数据平台获取告警系统中指定时间范围的告警数据以及与告警数据相对应的设备拓扑信息。
优选地，所述的基于拓扑优化FP-Growth算法的告警关联系统中所述分析筛选模块筛选原始数据集，生成数据集，包括：
筛选原始数据集，排除告警等级低的事务，生成数据集。
优选地，所述的基于拓扑优化FP-Growth算法的告警关联系统中所述分析筛选模块筛选具有可信程度的置信度所对应的告警关联规则，包括：
根据各告警关联规则的置信度的值判断告警关联规则的可信程度，通过告警关联规则的可信程度筛选置信度对应的告警关联规则。
基于拓扑优化FP-Growth算法的告警关联装置，包括：至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行所述的基于拓扑优化FP-Growth算法的告警关联方法。
本发明的有益之处是：
本发明提供基于拓扑优化FP-Growth算法的告警关联方法，基于FP-Growth算法，结合设备间拓扑关系生成告警关联规则，精准挖掘与告警设备具有拓扑关系的其他设备上的告警频繁项集，提高告警关联的精确性及运维人员解决和定位告警的效率，提升用户体验度，适合对海量的告警数据进行收集及统计。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明方法数据采集流程示意图。
图2是本发明方法中关联规则生成过程示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
本发明提供基于拓扑优化FP-Growth算法的告警关联方法，根据设备告警数据和与告警数据相对应的设备拓扑信息生成原始数据集，
筛选原始数据集，生成数据集，通过数据集按照时间顺序获得不重复的事务组合，并根据设备拓扑信息中的拓扑规则筛选直连的相关事务，生成事务集合，根据事务集合生成频繁项集，
获取每个频繁项集的支持度，并生成事务组合的告警关联规则和各告警关联规则的置信度，
筛选具有可信程度的置信度所对应的告警关联规则，根据筛选后的告警关联规则进行网络设备关联告警。
本发明方法可为网络运维人员使用，结合相关业务场景，使用大数据技术对告警数据进行收集及统计,可以处理海量的告警数据。提供最终统计结果为运维人员快速定位告警原因，解决告警提供支撑。为了保持关联规则的有效性集准确定，提供了定时更新规则的方法。
具体应用中，在本发明的一些实施例中，可以基于Hive，Spark等大数据平台，通过Python语言进行接口连接，获取分析数据，通过Vue构建页面，在网页中展现告警关联结果。
其中告警的各种信息，比如设备名称，告警名称，告警等级等，称之为告警的特征。特征的组合称之为项集。全部的告警的集合称之为原始数据集。跟具原始数据集进行过滤，合并，挖掘，分类生成的集合为频繁项集。获取每个频繁项集的支持度，生成告警关联规则和规则置信度。
例如{A->B}。其中A代表A设备发生A告警，B代表B设备发生B告警。该队则表示A设备的A告警会引发B设备的B告警。将这个结果提供给运维人员，用于已经发生的B告警判断告警发生根因为A告警，或者根据已经发生的A告警预测未来将会发生B告警。运维人员根据这个结果去解决或提前预防告警发生。
具体过程为：
数据采集：从大数据平台中获取FM告警系统中指定时间范围的告警数据以及IM资源管理系统中设备拓扑信息，可参考图1；
告警关联规则生成流程：
将数据采集中获取到的告警数据，即事务，依时间顺序排序，每个事务是告警设备和告警原因的组合。生成原始数据集如AaVvDeCeAEaFADdCcDEF，
初步的筛选，排除告警等级低的事务，生成数据集[ABDCAEFADCDEF]，
根据时间顺序获不重复的事务的组合，并根据拓扑规则筛选直连的相关事务，生成事务集合[ABDC][AEF][ADC][DEF]，根据事务集合生成频繁项集，
根据如下公式
获取各频繁项集的支持度，根据频繁项集生成不同事务组合的规则，如[ABDC]可生成{A->B},{A->D},{A->C}三种组合，
根据公式
获取各告警关联规则的置信度，如{A->B:0.33},{A->C:0.66}…，参考图2，
筛选置信度，根据实际情况及置信度的大小判断该告警关联规则的可信程度，根据筛选后的告警关联规则进行网络设备关联告警。
上述应用中，可通过Vue构建页面，在网页中展现告警关联结果，比如通过页面配置告警规则关联生成任务：任务名称，任务类型，设备产商，网络类型，任务执行类型，任务是否激活，设备名称，告警原因，采集数据起止时间，是否使用拓扑等。
任务执行结果，筛选置信度，并从操作栏可以查看该规则的主告警与从告警的历史信息，按时间顺序显示告警内容。并显示该规则的上主从告警发生的时间线。可以根据关联规则任务生成的规则结果判断哪些告警关联规则是合理有效的，并通过操作按钮将该告警关联规则激活，发送给运维人员查看等。
通过Vue构建页面进行操作，十分便利并且可以更加直观的看到告警关联规则，告警发生可能原因，以及告警可能引发的告警。
本发明还提供基于拓扑优化FP-Growth算法的告警关联系统，包括分析筛选模块和关联告警模块，
分析筛选模块根据设备告警数据和与告警数据相对应的设备拓扑信息生成原始数据集，
筛选原始数据集，生成数据集，通过数据集按照时间顺序获得不重复的事务组合，并根据设备拓扑信息中的拓扑规则筛选直连的相关事务，生成事务集合，根据事务集合生成频繁项集，
获取每个频繁项集的支持度，并生成事务组合的告警关联规则和各告警关联规则的置信度，
筛选具有可信程度的置信度所对应的告警关联规则，
关联告警模块根据筛选后的告警关联规则进行网络设备关联告警。
上述系统内的各模块之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
同样地，本发明系统基于FP-Growth算法，结合设备间拓扑关系生成告警关联规则，精准挖掘与告警设备具有拓扑关系的其他设备上的告警频繁项集，提高告警关联的精确性及运维人员解决和定位告警的效率，提升用户体验度，适合对海量的告警数据进行收集及统计。
以及本发明提供基于拓扑优化FP-Growth算法的告警关联装置，包括：至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行所述的基于拓扑优化FP-Growth算法的告警关联方法。
上述装置内的处理器的信息交互、执行可读程序过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
同样地，本发明装置基于FP-Growth算法，结合设备间拓扑关系生成告警关联规则，精准挖掘与告警设备具有拓扑关系的其他设备上的告警频繁项集，提高告警关联的精确性及运维人员解决和定位告警的效率，提升用户体验度，适合对海量的告警数据进行收集及统计。
需要说明的是，上述各流程和各系统结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。上述各实施例中描述的系统结构可以是物理结构，也可以是逻辑结构，即，有些模块可能由同一物理实体实现，或者，有些模块可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。
Claims (9)
1.基于拓扑优化FP-Growth算法的告警关联方法，其特征是根据设备告警数据和与告警数据相对应的设备拓扑信息生成原始数据集，
筛选原始数据集，生成数据集，通过数据集按照时间顺序获得不重复的事务组合，并根据设备拓扑信息中的拓扑规则筛选直连的相关事务，生成事务集合，根据事务集合生成频繁项集，
获取每个频繁项集的支持度，并生成事务组合的告警关联规则和各告警关联规则的置信度，
筛选具有可信程度的置信度所对应的告警关联规则，根据筛选后的告警关联规则进行网络设备关联告警。
2.根据权利要求1所述的基于拓扑优化FP-Growth算法的告警关联方法，其特征是所述生成原始数据集之前，包括：
从数据平台获取告警系统中指定时间范围的告警数据以及与告警数据相对应的设备拓扑信息。
3.根据权利要求1或2所述的基于拓扑优化FP-Growth算法的告警关联方法，其特征是所述筛选原始数据集，生成数据集，包括：
筛选原始数据集，排除告警等级低的事务，生成数据集。
4.根据权利要求1所述的基于拓扑优化FP-Growth算法的告警关联方法，其特征是所述筛选具有可信程度的置信度所对应的告警关联规则，包括：
根据各告警关联规则的置信度的值判断告警关联规则的可信程度，通过告警关联规则的可信程度筛选置信度对应的告警关联规则。
5.基于拓扑优化FP-Growth算法的告警关联系统，其特征是包括分析筛选模块和关联告警模块，
分析筛选模块根据设备告警数据和与告警数据相对应的设备拓扑信息生成原始数据集，
筛选原始数据集，生成数据集，通过数据集按照时间顺序获得不重复的事务组合，并根据设备拓扑信息中的拓扑规则筛选直连的相关事务，生成事务集合，根据事务集合生成频繁项集，
获取每个频繁项集的支持度，并生成事务组合的告警关联规则和各告警关联规则的置信度，
筛选具有可信程度的置信度所对应的告警关联规则，
关联告警模块根据筛选后的告警关联规则进行网络设备关联告警。
6.根据权利要求5所述的基于拓扑优化FP-Growth算法的告警关联系统，其特征是还包括采集模块，所述采集模块在生成原始数据集之前，从数据平台获取告警系统中指定时间范围的告警数据以及与告警数据相对应的设备拓扑信息。
7.根据权利要求5或6所述的基于拓扑优化FP-Growth算法的告警关联系统，其特征是所述分析筛选模块筛选原始数据集，生成数据集，包括：
筛选原始数据集，排除告警等级低的事务，生成数据集。
8.根据权利要求5所述的基于拓扑优化FP-Growth算法的告警关联系统，其特征是所述分析筛选模块筛选具有可信程度的置信度所对应的告警关联规则，包括：
根据各告警关联规则的置信度的值判断告警关联规则的可信程度，通过告警关联规则的可信程度筛选置信度对应的告警关联规则。
9.基于拓扑优化FP-Growth算法的告警关联装置，其特征是包括：至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行权利要求1至4中任一项所述的基于拓扑优化FP-Growth算法的告警关联方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111391793.0A CN114020581A (zh) | 2021-11-23 | 2021-11-23 | 基于拓扑优化FP-Growth算法的告警关联方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111391793.0A CN114020581A (zh) | 2021-11-23 | 2021-11-23 | 基于拓扑优化FP-Growth算法的告警关联方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114020581A true CN114020581A (zh) | 2022-02-08 |
Family
ID=80065693
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111391793.0A Pending CN114020581A (zh) | 2021-11-23 | 2021-11-23 | 基于拓扑优化FP-Growth算法的告警关联方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114020581A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115271263A (zh) * | 2022-09-27 | 2022-11-01 | 佰聆数据股份有限公司 | 基于改进关联规则的电力设备缺陷预警方法、系统及介质 |
| CN115550156A (zh) * | 2022-11-29 | 2022-12-30 | 北京天维信通科技有限公司 | 一种基于多租户分销的告警方法、系统、终端及存储介质 |
| CN115801589A (zh) * | 2022-11-15 | 2023-03-14 | 北京优特捷信息技术有限公司 | 一种事件拓扑关系确定方法、装置、设备及存储介质 |
| CN118094169A (zh) * | 2024-04-28 | 2024-05-28 | 武汉理工大学 | 用于复杂装备智能运维报警系统的组件关联性分析方法 |
-
2021
- 2021-11-23 CN CN202111391793.0A patent/CN114020581A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115271263A (zh) * | 2022-09-27 | 2022-11-01 | 佰聆数据股份有限公司 | 基于改进关联规则的电力设备缺陷预警方法、系统及介质 |
| CN115801589A (zh) * | 2022-11-15 | 2023-03-14 | 北京优特捷信息技术有限公司 | 一种事件拓扑关系确定方法、装置、设备及存储介质 |
| CN115550156A (zh) * | 2022-11-29 | 2022-12-30 | 北京天维信通科技有限公司 | 一种基于多租户分销的告警方法、系统、终端及存储介质 |
| CN118094169A (zh) * | 2024-04-28 | 2024-05-28 | 武汉理工大学 | 用于复杂装备智能运维报警系统的组件关联性分析方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114020581A (zh) | 基于拓扑优化FP-Growth算法的告警关联方法 | |
| CN110928718B (zh) | 一种基于关联分析的异常处理方法、系统、终端及介质 | |
| US8078922B2 (en) | Internal server error analysis | |
| CN107918629B (zh) | 一种告警故障的关联方法和装置 | |
| CN105183609A (zh) | 一种应用于软件系统的实时监控系统及方法 | |
| CN101095307A (zh) | 网络管理设备 | |
| WO2007143943A1 (fr) | Procédé, système et dispositif réseau de maintenance centralisée de dispositifs multiples | |
| CN115396289B (zh) | 一种故障告警确定方法、装置、电子设备及存储介质 | |
| CN112380473B (zh) | 数据采集与同步方法、装置、设备及存储介质 | |
| JP2014102661A (ja) | 適用判定プログラム、障害検出装置および適用判定方法 | |
| CN115022153B (zh) | 故障根因分析方法、装置、设备和存储介质 | |
| CN101989931A (zh) | 一种运维告警处理方法和装置 | |
| CN115509797A (zh) | 一种故障类别的确定方法、装置、设备及介质 | |
| CN111198902B (zh) | 元数据管理方法、装置、存储介质及电子设备 | |
| CN111427749B (zh) | 一种openstack环境下针对ironic服务的监控工具及方法 | |
| CN110941536B (zh) | 监控方法及系统、第一服务器集群 | |
| CN111628888A (zh) | 一种故障诊断方法、装置、设备及计算机存储介质 | |
| JP2017167578A (ja) | インシデント管理システム | |
| CN116668264A (zh) | 一种告警聚类的根因分析方法、装置、设备及存储介质 | |
| CN115766768A (zh) | 一种算力网络操作系统中感知中枢设计方法及装置 | |
| CN113037578B (zh) | 设备捆绑口故障告警方法及装置 | |
| CN111552566B (zh) | 一种数据处理系统、方法、电子设备及存储介质 | |
| CN114153734A (zh) | 埋点数据管理方法及相关设备 | |
| JP5922811B1 (ja) | ログ情報分類装置、ログ情報分類方法、及びプログラム | |
| CN111371602B (zh) | 告警信息处理方法和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |