CN112182077A - 一种基于数据中台技术的智能运维系统 - Google Patents

Abstract

本发明公开了一种基于数据中台技术的智能运维系统，主要包括静态配置库、智能运维算法库、数据仓库、可视化功能库，静态配置库作为智能运维系统的初始基准，针对运维工作中的特有场景，对智能运维系统中的所有组件做统一的标准化管理，智能运维算法库接入常见的机器学习算法，并且根据运维工作的特有场景组成AIOps算法组件，智能运维算法模块从原始数据中提取中关键信息并加以利用，数据仓库存储智能运维系统中的数据，可视化功能库接入常见的可视化功能组件，并设计为可拖拉拽的模式。本发明引进了运维数据中台的设计理念，解决了数据整合的顽疾，为数据的进一步挖掘提供了基础，也很好地适应了前台应用的多样性要求。

Description

一种基于数据中台技术的智能运维系统

技术领域

本发明涉及智能运维的领域，具体涉及一种基于数据中台技术的智能运维系统。

背景技术

智能运维是在自动化运维的基础之上，运用机器学习算法，解决传统运维工作中遇到的难题，提升传统运维的工作效率。统一交易流水号是运维数据在智能运维系统中的唯一关键字(key)，可以通过统一交易流水号识别当前数据的来源系统、生成日期等关键信息，并且可以和其他数据唯一区分。CMDB是智能运维系统的静态配置库，针对于运维工作的具体场景，对智能运维系统中的所有组件做统一标准化管理。传统的运维系统包含很多独立的系统，大体可以分为前台系统和后台系统两大类。后台系统是直接和业务层打交道的系统，包括采控系统、监控系统、告警系统、日志系统、云监控、自动化平台、CMDB、网络管理等。前台系统主要的功能是便于运维人员和管理人员方便的进行运维相关的分析、数据消费等操作。它包括日志分析、告警分析、运维服务门户、容量分析、态势感知、根源分析、数据服务、订阅服务等。基本上每个后台系统都对应着一个或者多个前台系统。随着运维数据的不断积累，出现了传统的运维大数据平台来支持各个业务的发展。传统的大数据平台连接前后台。但是传统的运维大数据平台只是解决了数据存储的问题，并没有对来自于不同后台的数据进行统一整合，没有提供一个唯一的识别号码来记录数据，数据只是简单的堆积，没有根据数据分布的特点对数据进行梳理、整合、从而形成一个完整有机的体系。随着运维软件产品的不断成熟，前台运维系统具备明显的多样性和个性化特征，同样的场景、不同的IT组织就可能有完全不同的实现要求，所以很难形成标准化的产品。而随着新形势下移动办公比重的不断增加，传统的大数据平台越来越难以适应当前业务高并发、实时性的要求。因此传统的运维大数据平台难以适应前台应用多样化的特点。

传统的运维大数据平台仅提供了数据存储的功能，没有针对性地对数据做出进一步处理，未包含对运维特有场景的针对性处理方案，所以在运维数据的收集和应用过程中就会造成数据利用率不高，数据价值不能得到充分挖掘等问题。传统的运维大数据平台不同，运维数据中台的职责是识别前台数据需求、整合后台数据、加工数据、输出数据，是数据中心级的数据服务共享平台。

发明内容

本发明的目的在于克服现有技术存在的不足，而提供一种基于数据中台技术的智能运维系统。

本发明的目的是通过如下技术方案来完成的：这种基于数据中台技术的智能运维系统，主要包括静态配置库、智能运维算法库、数据仓库、可视化功能库，静态配置库作为智能运维系统的初始基准，针对运维工作中的特有场景，对智能运维系统中的所有组件做统一的标准化管理，智能运维算法库接入常见的机器学习算法，并且根据运维工作的特有场景组成AIOps算法组件，智能运维算法模块从原始数据中提取中关键信息并加以利用，数据仓库存储智能运维系统中的数据，可视化功能库接入常见的可视化功能组件，并设计为可拖拉拽的模式。

所述静态配置库的数据范围包含与应用相关的所有IT资源，信息来自多个数据源，整合并处理不同的数据，统一数据的规范、构建数据之间的互联关系，静态配置库提供了IT资源配置信息的数据地图和静态拓扑关系。

所述数据仓库包括实时数据仓库和历史数据仓库。

所述数据仓库中的数据被赋予唯一关键字，即统一交易流水号，统一交易流水号作为数据在整个运维系统中唯一识别的号码，并采用以统一交易流水号为基础的OneID技术。

智能运维系统中所经历的整个生命周期主要包括数据模型、数据资产、数据治理、数据服务，数据模型按照运维数据仓库规范分层开发模型，实现数据的标准化，采用维度建模，并且将模型沉淀到数据中台中；数据资产首先规范指标库用以组合处理满足外部人员个性化的指标需求，其次做好以CMDB为基础的元数据管理；数据治理根据指定的规范开发模型、校验模型、管理模型；数据服务包含数据接口标准化和数据开发可视化，数据接口标准化提供统一的数据服务在线查询视图，数据开发可视化提供服务接口的可视化配置。

所述元数据包括采集的接口信息、模型信息、指标定义、作业的血缘关系、数据存储以及访问情况。

本发明的有益效果为：本发明根据运维数据的特点，引进了运维数据中台的设计理念，解决了数据整合的顽疾，为数据的进一步挖掘提供了基础，也很好地适应了前台应用的多样性要求，已经以产品形式在“优云”系列运维产品中实施；针对数据未横向打通，来自于后台系统的数据不能有效的被前台系统所运用，提出了统一交易流水号的概念，任何进入智能运维中台系统的数据都能根据统一交易流水号，识别出该数据的来源，从而能够更高效的被前台系统所应用；针对传统运维大数据平台不能识别多系统数据之间的潜在关系，提出了智能运维系统的概念，利用机器学习算法组成智能运维算法库，通过算法库中的各组件对数据做出相应的处理，从而提取出来自于不同系统的数据之间潜在的关系，为前台系统的应用提供更有价值的应用。

附图说明

图1为本发明的模型设计示意图。

图2为本发明的OneID生成方法示意图。

具体实施方式

下面将结合附图对本发明做详细的介绍：

如图1-2所示，这种基于数据中台技术的智能运维系统，主要包括静态配置库、智能运维算法库、数据仓库、可视化功能库，静态配置库(CMDB)作为智能运维系统的初始基准，针对运维工作中的特有场景，对智能运维系统中的所有组件做统一的标准化管理，智能运维算法库(AI-base)接入常见的机器学习算法，并且根据运维工作的特有场景组成AIOps算法组件，智能运维算法模块帮助用户从原始数据中提取中关键信息并加以利用，数据仓库(Database)存储智能运维系统中的数据，可视化功能库(View-base)接入常见的可视化功能组件，并设计为可拖拉拽的模式，让运维人员在使用过程中可以根据具体场景选择最合适的数据展示方案。

静态配置库数据范围包含与应用相关的所有IT资源，从多个视角提供配置信息，信息来自多个数据源，整合并处理不同的数据，统一数据的规范、构建数据之间的互联关系。作为整个数据中台的基础，静态配置库提供了IT资源配置信息的数据地图和静态拓扑关系。结合运维的全域数据，包括配置、告警、指标、工单、操作等信息，我们可以天然的以CMDB数据为基础建设全域运维数据中台。其次，CMDB面向数据中心所有运维工具，解决的是跨专业的数据分享问题，具备灵活、开放的数据服务能力。对于很多运维数据中心存在多个小CMDB的现状，CMDB将承担信息桥梁的作用，各部门需要的跨部门配置信息都通过CMDB提供，CMDB支撑多场景、多视角数据消费。因此，建立以统一的CMDB系统为核心的运维数据中台，我们可以很方便的建立数据与数据之间的通信拓扑关系图，并掌握实时动态信息，这为数据中台提供开放、灵活、跨平台的数据服务提供了保障。

数据仓库包括实时数据仓库和历史数据仓库。有了CMDB作为数据中台的数据基本框架，我们满足了数据灵活、开放的需求。我们还需要解决数据统一识别的问题，在这里，我们选择统一交易流水号作为数据中台建设的唯一识别号。数据仓库中的数据被赋予唯一关键字，即统一交易流水号，统一交易流水号作为数据在整个运维系统中唯一识别的号码，并采用以统一交易流水号为基础的OneID技术。统一交易流水号满足唯一性的需求，而且存在于多数的IT系统中。不过并不是所有的系统都以统一交易流水号作为识别号码。因此这里需要一个专门针对运维数据服务的技术-OneID技术。OneID技术以数据技术为手段，从设计、开发、部署和使用上保障了数据口径的规范和统一，实现数据资产全链路管理，提供标准数据输出。具体来说，首先通过关系数据库中主键、外键的关联关系，可以建立以统一交易流水号作为唯一识别号码的数据链路，形成一套以各种ID(业务核心对象)为唯一标识的宽表。针对有的数据无法通过数据关联关系直接建立联系的问题，则是基于图的连通性，在运筹学上做一个图连通来做具体化一个实体的端口。具体步骤如附图二所示。

本发明主要采用JAVA语言。算法模块使用Python语言，计算过程开发使用Scala语言，前端展示使用JS,数据库操作采用SQL语言。

数据在基于数据中台技术的智能运维系统中所经历的整个生命周期，主要包括以下内容：建设运维数据中台主要就是从数据模型、数据资产、数据治理、数据服务四部分出发。

1)数据模型：数据模型就是按照运维数据仓库规范分层开发模型，实现数据的标准化，多采用维度建模，并且将模型沉淀到数据中台中。

2)数据资产：首先需要规范指标库用以组合处理满足外部人员个性化的指标需求。其次是做好以CMDB为基础的元数据管理，元数据包括采集的接口信息、模型信息、指标定义、作业的血缘关系、数据存储以及访问情况等。

3)数据治理：数据治理主要是根据指定的规范开发模型、校验模型、管理模型，为业务提供统一的、准确的指标保驾护航。

4)数据服务：运维数据中台最重要的就是要对外提供统一的服务能力。数据服务需要包含以下两个能力：数据接口标准化：提供统一的数据服务在线查询视图，让开发者能够快速、简单的访问数据服务；数据开发可视化：提供服务接口的可视化配置。

除了运维数据中台之外，还有运维数据仓库、运维数据湖等相对应的概念。数据仓库和数据湖主要是围绕“读”数据展开的，强调利用数据的能力，而不修改数据，而运维数据中台则不单提供数据，同时强调围绕数据的各种形式的服务，涉及到数据的“写”，主要解决的向多方赋能的能力。本系统发明的运维数据中台是在运维领域的数据中台系统，有很多独特的满足运维的特点，和传统的数据中台有着很大的不同。

可以理解的是，对本领域技术人员来说，对本发明的技术方案及发明构思加以等同替换或改变都应属于本发明所附的权利要求的保护范围。

Claims (6)

1.一种基于数据中台技术的智能运维系统，其特征在于：包括静态配置库、智能运维算法库、数据仓库、可视化功能库，静态配置库作为智能运维系统的初始基准，针对运维工作中的特有场景，对智能运维系统中的所有组件做统一的标准化管理，智能运维算法库接入常见的机器学习算法，并且根据运维工作的特有场景组成AIOps算法组件，智能运维算法模块从原始数据中提取中关键信息并加以利用，数据仓库存储智能运维系统中的数据，可视化功能库接入常见的可视化功能组件，并设计为可拖拉拽的模式。

2.根据权利要求1所述的基于数据中台技术的智能运维系统，其特征在于：所述静态配置库的数据范围包含与应用相关的所有IT资源，信息来自多个数据源，整合并处理不同的数据，统一数据的规范、构建数据之间的互联关系，静态配置库提供了IT资源配置信息的数据地图和静态拓扑关系。

3.根据权利要求1所述的基于数据中台技术的智能运维系统，其特征在于：所述数据仓库包括实时数据仓库和历史数据仓库。

4.根据权利要求1或3所述的基于数据中台技术的智能运维系统，其特征在于：所述数据仓库中的数据被赋予唯一关键字，即统一交易流水号，统一交易流水号作为数据在整个运维系统中唯一识别的号码，并采用以统一交易流水号为基础的OneID技术。

5.根据权利要求1所述的基于数据中台技术的智能运维系统，其特征在于：智能运维系统中所经历的整个生命周期主要包括数据模型、数据资产、数据治理、数据服务，数据模型按照运维数据仓库规范分层开发模型，实现数据的标准化，采用维度建模，并且将模型沉淀到数据中台中；数据资产规范指标库用以组合处理满足外部人员个性化的指标需求并做好以CMDB为基础的元数据管理；数据治理根据指定的规范开发模型、校验模型、管理模型；数据服务包含数据接口标准化和数据开发可视化，数据接口标准化提供统一的数据服务在线查询视图，数据开发可视化提供服务接口的可视化配置。

6.根据权利要求5所述的基于数据中台技术的智能运维系统，其特征在于：所述元数据包括采集的接口信息、模型信息、指标定义、作业的血缘关系、数据存储以及访问情况。

Images