CN115858226A - 基于人工智能的智能运维系统 - Google Patents

Abstract

本发明公开基于人工智能的智能运维系统，涉及智能运维系统领域。该基于人工智能的智能运维系统包括数据采集管理模块、智能告警分析模块、智能指标分析模块、智能日志分析模块、智能运营决策模块和AI运维中台。该基于人工智能的智能运维系统，能够融合多源数据，无论是来自于工单系统、监控系统还是日志平台，均可以作为可配置的数据源融入平台，用户可以自主创建各类运维和运营分析和可视化场景，主动分析、持续优化而不仅仅是被动排障；另外它还能够将运维人员对故障/问题的分析过程逐步积累，形成可探索的知识库。

Description

基于人工智能的智能运维系统

技术领域

本发明涉及智能运维系统技术领域，具体为基于人工智能的智能运维系统。

背景技术

随着新技术和管理方法的不断涌现，很多企业结合自身业务发展需求与现状，在IT技术和管理方法也不断发展变化，从早期的粗放式管理，到通过BOMC的管理规范和平台建设构建了全网运维管理系统，建立了严格的安全管控流程规范。

在新的人工智能时代将要到来之际，IT运维在向自动化和智能化方向发展，众多互联网企业都做了不同方向和不同程度的探索。自动化运维在手动运维基础上大大提高了运维的效率，DevOps相关技术有效地提升了研发和运维的配合效率。但是，随着整个互联网系统数据规模的急剧膨胀，以及服务类型的复杂多样，“基于人为指定规则”的专家系统逐渐变得力不从心。因为自动化运维的瓶颈在于人脑：必须由一个长期在一个行业从事运维的专家手动地将重复出现的、有迹可循的现象总结出来，形成规则，才能完成自动化运维。所以，IT运维如何发展，如何管理，是摆在我们面前的技术问题，更是管理问题，亟需制定相应标准规范进行指导；

随着整个互联网系统数据规模的急剧膨胀，以及服务类型的复杂多样，“基于人为指定规则”的专家系统逐渐变得力不从心，因为自动化运维的瓶颈在于人脑：必须由一个长期在一个行业从事运维的专家手动地将重复出现的、有迹可循的现象总结出来，形成规则，才能完成自动化运维。所以，IT运维如何发展，如何管理，是摆在我们面前的技术问题，更是管理问题，亟需制定相应标准规范进行指导。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供基于人工智能的智能运维系统，解决了互联网系统数据运维管理的缺陷。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：基于人工智能的智能运维系统，包括数据采集管理模块、智能告警分析模块、智能指标分析模块、智能日志分析模块、智能运营决策模块和AI运维中台，所述智能告警分析模块、智能指标分析模块和智能日志分析模块组成智能分析单元，智能分析单元分别与数据采集管理模块、智能运营决策模块链接进行数据传输，所述AI运维中台为各模块进行数据采集、处理、存储和分析操作提供运算助力。

优选的，所述数据采集管理模块包括各个子数据库，与智能告警分析模块、智能指标分析模块、智能日志分析模块双向链接；

采集设备的告警数据存储到告警数据库中，采集各种运维工具中的多样化指标数据存储到指标数据库中，采集各项事件发生的日志数据存储到日志数据库中，并根据智能告警分析模块、智能指标分析模块、智能日志分析模块发送的数据请求，准确调取各模块所需的数据传送给各个模块。

优选的，所述智能告警分析模块以机器学习算法为驱动，对海量的告警事件进行降噪和关联分析，辅助根因定位并可沉淀故障处理的知识。

优选的，所述智能告警分析模块通过算法甄别内容相关性、重复性和相似性、时序相关性和拓扑相关性事件来进行告警事件的自动化抑制。

优选的，所述智能指标分析模块能够一站式纳管来自于各种运维工具中的多样化指标数据，比如系统、网络监控指标、应用性能监控指标以及业务交易类指标等，通过指标管理池的构建，实现了对指标的统一治理、单指标异常检测、多指标相关性分析、故障根因定界及定位、容量分析和预测等场景。

优选的，所述单指标的异常检测和根因分析不同波动特性的指标赋予最合适的异常检测模式。

优选的，所述智能运营决策模块具备两方面价值，首先能够融合多源数据，无论是来自于工单系统、监控系统还是日志平台，均可以作为可配置的数据源融入平台，用户可以自主创建各类运维和运营分析和可视化场景，主动分析、持续优化而不仅仅是被动排障；

另外它还能够将运维人员对故障/问题的分析过程逐步积累，形成可探索的知识库；

通过知识沉淀指导运维人员分析运维故障和问题，解耦对运维人员个人技术和经验的依赖。

优选的，所述AI运维中台是智能运维场景的基石，主要提供三方面服务大数据处理服务、流式处理服务和机器学习平台服务。

本发明公开了基于人工智能的智能运维系统，其具备的有益效果如下：

该基于人工智能的智能运维系统，能够融合多源数据，无论是来自于工单系统、监控系统还是日志平台，均可以作为可配置的数据源融入平台，用户可以自主创建各类运维和运营分析和可视化场景，主动分析、持续优化而不仅仅是被动排障；另外它还能够将运维人员对故障/问题的分析过程逐步积累，形成可探索的知识库；

通过知识沉淀指导运维人员分析运维故障和问题，解耦对运维人员个人技术和经验的依赖；

本发明以全局运营视角解读IT运维，整合告警事件、性能指标、日志事件等多维数据，在AI算法平台的支撑下实现包括精准告警、异常检测、根因定位和容量分析等场景，助力企业数字化业务高效、稳定和顺畅运行，并能通过数据价值的提炼分析优化运营决策，彰显运维对业务的影响力；

在智能告警分析模块中，以机器学习算法为驱动，对海量的告警事件进行降噪和关联分析，辅助根因定位并可沉淀故障处理的知识，从而提升企业的运维效率，降低运维成本；

在智能指标分析模块中，能够一站式纳管来自于各种运维工具中的多样化指标数据，使得可以更快的发现问题和分析问题根因，提升运维效率，而且还能通过其实现业务导向的指标体系构建和健康度评估分析，提升运营效能；

在智能日志分析模块中，具备多样化开箱即用模板及智能分析能力，协助用户全面分析数字化业务整体状况，提升故障根因定位，日志审计、异常检测等运维能力，降低日志管理门槛，提高运维效率和运维水平。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请实施例通过提供基于人工智能的智能运维系统。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

本发明实施例公开基于人工智能的智能运维系统。

根据附图1所示；

本发明以全局运营视角解读IT运维，整合告警事件、性能指标、日志事件等多维数据，在AI算法平台的支撑下实现包括精准告警、异常检测、根因定位和容量分析等场景，助力企业数字化业务高效、稳定和顺畅运行，并能通过数据价值的提炼分析优化运营决策，彰显运维对业务的影响力。

智能运维系统包括数据采集管理模块、智能告警分析模块、智能指标分析模块、智能日志分析模块、智能运营决策模块和AI运维中台。

智能告警分析模块、智能指标分析模块和智能日志分析模块组成智能分析单元，智能分析单元分别与数据采集管理模块、智能运营决策模块链接进行数据传输，AI运维中台为其他各模块进行数据采集、处理、存储和分析操作提供运算助力。

数据采集管理模块包括各个子数据库，与智能告警分析模块、智能指标分析模块、智能日志分析模块双向链接，采集设备的告警数据存储到告警数据库中，采集各种运维工具中的多样化指标数据存储到指标数据库中，采集各项事件发生的日志数据存储到日志数据库中，并根据智能告警分析模块、智能指标分析模块、智能日志分析模块发送的数据请求，准确调取各模块所需的数据传送给各个模块。

智能告警分析模块：以机器学习算法为驱动，对海量的告警事件进行降噪和关联分析，辅助根因定位并可沉淀故障处理的知识，从而提升企业的运维效率，降低运维成本。

通过算法甄别内容相关性(重复性、相似性)、时序相关性和拓扑相关性事件来进行告警事件的自动化抑制：

通过读取任一告警事件的时序信息以及拓扑关系信息定位到故障场景根因，并进行根因标记；在进行根因标记时，可以根据故障根因的复杂程度进行困难程度等级标记。

基于告警“熵值”算法以及根因标记(主要是根因的困难程度等级标记)，实现告警事件的动态优先级推荐；

基于已发生故障的设备的故障传播链、拓扑关系信息以及设备故障根因的困难程度等级,智能发现可能突发故障场景的设备进行风险排查。

主要是预测哪些设备可能发生故障。

智能指标分析模块：能够一站式纳管来自于各种运维工具中的多样化指标数据，比如系统、网络监控指标、应用性能监控指标以及业务交易类指标等，通过指标管理池的构建，实现了对指标的统一治理、单指标异常检测、多指标相关性分析、故障根因定界及定位、容量分析和预测等场景。

使得可以更快的发现问题和分析问题根因，提升运维效率，而且还能通过其实现业务导向的指标体系构建和健康度评估分析，提升运营效能。

指标的异常检测和根因分析：不同波动特性的指标赋予最合适的异常检测模式。

首先需要判定业务指标是否异常，如果存在异常，根据指标数据确定该指标数据对应的波动特性，针对波动特性选择异常检测模型检测确定业务指标异常的根因诊断结果。

异常检测模型在训练时，以各项业务指标异常数据为训练样本，以波动影响关系、异常数量归因以及拓扑相关性分析或者其组合分析作为训练依据，以最终的根因诊断结果作为模型训练的输出结果。

针对业务指标异常的根因诊断：提供多种分析方式，包括波动影响关系、异常数量归因以及拓扑相关性分析或者其组合分析。

业务运营全景视图分析：

结合指标异常告警、拓扑架构关系和应用调用链数据以及相关日志数据做全局分析。

支持以业务为视角构建统一查询的全景视图，全面了解实时业务健康状况。

支持业务系统健康度评估，为持续性改进管理效能提供有效考核依据。

智能日志分析模块：用于提供海量数据采集、统一管理、集中查询和展示等功能，具备多样化开箱即用模板及智能分析能力，协助用户全面分析数字化业务整体状况，提升故障根因定位，日志审计、异常检测等运维能力，降低日志管理门槛，提高运维效率和运维水平。

日志聚类、基于日志的异常检测和匹配规则的自动生成

第一步，日志串联查询，帮助快速初步排障：从数据采集管理模块获取海量日志数据后，动态串联展示各环节的日志数据，查询交易链故障；自动计算单笔业务耗时及单节点耗时，快速定位业务中的故障节点；通过日志可视化还原业务流程处理路径；提供上下文日志展示及关联，确定初步故障定界属性，同时展示业务环节中的关键数据，帮助业务部门掌握业务运行规律，降低业务运营风险；

第二步，根据初步故障定界属性选取关联日志快速检测模型，将交易链故障日志信息输入至关联日志快速检测模型，获得故障根因定位信息。

日志快速检测模型是一款专注于日志智能分析的工具，实现了将海量日志聚类到肉眼可读的数量，智能识别日志发生规律，分析日志异常并智能告警。

拥有高效、实时的智能化能力，让用户毋需了解日志结构即可发现异常、定位根因。

智能运营决策模块：具备两方面价值，首先能够融合多源数据，无论是来自于工单系统、监控系统还是日志平台，均可以作为可配置的数据源融入平台，用户可以自主创建各类运维和运营分析和可视化场景，主动分析、持续优化而不仅仅是被动排障；另外它还能够将运维人员对故障/问题的分析过程逐步积累，形成可探索的知识库。通过知识沉淀指导运维人员分析运维故障和问题，解耦对运维人员个人技术和经验的依赖。

运营信息展示：从宏观到微观挖掘式联动全景业务分析。

运营个性场景：一站式数据服务对接并动态展示。

运营多维分析：结合告警、指标、日志三维一体开箱多维分析。

运营联动决策：通过知识沉淀、开放路径、更新定制来助力决策。

AI运维中台，是智能运维场景的基石，主要提供三方面服务：大数据处理服务，流式处理服务，机器学习平台服务。

①大数据处理服务：保障TB级及至PB级、多样化的运维数据都能得到有

效治理，无论是告警、指标或日志数据都能合理的分级分类管理、按照客户需要的管理模式进行数据建设，拉通了不同门类运维数据的关系，也能根据管理需要的不同设置具体的持久化策略，为进一步分析和管理提供良好的舞台。

②流式处理服务：无论是何种运维数据，均可以利用强大的流式处理引擎实时处理，告警的信息丰富、规则匹配或者模式发辫、指标的聚合计算或异常检测、日志的提炼加工活异常模式甄别，都需要极高的时效性，而且许多处理任务的复杂性还涉及到作业的编排管理，资源的调度控制，这些服务确保了各类智能运维分析场景能够实时运行而还无阻滞。

③机器学习平台服务：为智能运维应用场景提供算法赋能，内置多种算法模型，可以进行交互式算法调优调参、结果评估、模型发布和模型管理，极大地方便了在不同场景下对于算法建模调参的便利度，使得没有AI运维经验的人员也可以轻松应用。

从数据治理到多维数据分析场景，均已实现图形化界面操作，无需复杂脚本和二次开发即可实现AI应用场景分析数据采集、处理、存储、消费、算法模型调参等均可实现图形化界面，降低使用难度。

首先能够融合多源数据，无论是来自于工单系统、监控系统还是日志平台，均可以作为可配置的数据源融入平台，用户可以自主创建各类运维和运营分析和可视化场景，主动分析、持续优化而不仅仅是被动排障；另外它还能够将运维人员对故障/问题的分析过程逐步积累，形成可探索的知识库。通过知识沉淀指导运维人员分析运维故障和问题，解耦对运维人员个人技术和经验的依赖。

本发明以全局运营视角解读IT运维，整合告警事件、性能指标、日志事件等多维数据，在AI算法平台的支撑下实现包括精准告警、异常检测、根因定位和容量分析等场景，助力企业数字化业务高效、稳定和顺畅运行，并能通过数据价值的提炼分析优化运营决策，彰显运维对业务的影响力。

在智能告警分析模块中，以机器学习算法为驱动，对海量的告警事件进行降噪和关联分析，辅助根因定位并可沉淀故障处理的知识，从而提升企业的运维效率，降低运维成本。

在智能指标分析模块中，能够一站式纳管来自于各种运维工具中的多样化指标数据，使得可以更快的发现问题和分析问题根因，提升运维效率，而且还能通过其实现业务导向的指标体系构建和健康度评估分析，提升运营效能。

在智能日志分析模块中，具备多样化开箱即用模板及智能分析能力，协助用户全面分析数字化业务整体状况，提升故障根因定位，日志审计、异常检测等运维能力，降低日志管理门槛，提高运维效率和运维水平。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.基于人工智能的智能运维系统，包括数据采集管理模块、智能告警分析模块、智能指标分析模块、智能日志分析模块、智能运营决策模块和AI运维中台，其特征在于：所述智能告警分析模块、智能指标分析模块和智能日志分析模块组成智能分析单元，智能分析单元分别与数据采集管理模块、智能运营决策模块链接进行数据传输，所述AI运维中台为各模块进行数据采集、处理、存储和分析操作提供运算助力。

2.根据权利要求1所述的基于人工智能的智能运维系统，其特征在于：所述数据采集管理模块包括各个子数据库，与智能告警分析模块、智能指标分析模块、智能日志分析模块双向链接；

采集设备的告警数据存储到告警数据库中，采集各种运维工具中的多样化指标数据存储到指标数据库中，采集各项事件发生的日志数据存储到日志数据库中，并根据智能告警分析模块、智能指标分析模块、智能日志分析模块发送的数据请求，准确调取各模块所需的数据传送给各个模块。

3.根据权利要求1所述的基于人工智能的智能运维系统，其特征在于：所述智能告警分析模块以机器学习算法为驱动，对海量的告警事件进行降噪和关联分析，辅助根因定位并可沉淀故障处理的知识。

4.根据权利要求1所述的基于人工智能的智能运维系统，其特征在于：所述智能告警分析模块通过算法甄别内容相关性、重复性和相似性、时序相关性和拓扑相关性事件来进行告警事件的自动化抑制。

5.根据权利要求1所述的基于人工智能的智能运维系统，其特征在于：所述智能指标分析模块能够一站式纳管来自于各种运维工具中的多样化指标数据，比如系统、网络监控指标、应用性能监控指标以及业务交易类指标等，通过指标管理池的构建，实现了对指标的统一治理、单指标异常检测、多指标相关性分析、故障根因定界及定位、容量分析和预测等场景。

6.根据权利要求5所述的基于人工智能的智能运维系统，其特征在于：所述单指标的异常检测和根因分析不同波动特性的指标赋予最合适的异常检测模式。

7.根据权利要求1所述的基于人工智能的智能运维系统，其特征在于：所述智能运营决策模块具备两方面价值，首先能够融合多源数据，无论是来自于工单系统、监控系统还是日志平台，均作为可配置的数据源融入平台，用户自主创建各类运维和运营分析和可视化场景，主动分析、持续优化而不是被动排障；

还能够将运维人员对故障/问题的分析过程逐步积累，形成可探索的知识库；

通过知识沉淀指导运维人员分析运维故障和问题，解耦对运维人员个人技术和经验的依赖。

8.根据权利要求1所述的基于人工智能的智能运维系统，其特征在于：所述AI运维中台是智能运维场景的基石，主要提供三方面服务大数据处理服务、流式处理服务和机器学习平台服务。

Images