CN112884452A - 一种智能运维多源数据采集可视化分析系统 - Google Patents

Abstract

本发明提供了一种智能运维多源数据采集可视化分析系统，包括步骤：Q1、多源化数据采集；Q2、数据分析；Q3、数据可视化。本发明可以对多源化数据，挖掘分析各项关键性数据指标，对各项运维指标进行分类管理，建立最优化策略进行数据指标多维分析、异常检测、容量规划、预测等更多场景的运维工作。

Description

一种智能运维多源数据采集可视化分析系统

技术领域

本发明属于数据应用技术领域，具体涉及一种智能运维多源数据采集可视化分析系统。

背景技术

现有的运维工作大多是由运维人员手工完成的，运维人员又被称为系统管理员，运维人员负责的工作包括监控产品运行状态和性能指标、产品上线、变更服务等。

随着互联网的发展，产品的个数或者产品服务的用户规模呈线性增长，而运维人员的工作量和运维人员的数量也是随之增长，部分手工运维工作转为自动化运维，一些常见的重复性的运维工作可以通过自动化的脚本来实现；一部分自动化脚本用以监控分布式系统产生大量的日志以及各种类型的主机所产生的不同种类的数据。

但是现有技术的运维工作存在的缺点为：互联网的发展，系统运行中产生的大量不同类型的数据，采集各种类型的数据，并让这些数据对运维工作产生价值上存在着大量的运维工作并消耗大量的人力资源；同时运维监控存在大量数据的监控和分析，这也让运维工作在发现问题和查找问题的原因上消耗大量的人力资源，大量的、重复性的报警也导致了一些状况的误判，干扰运维中出现的问题原因的查找。

发明内容

根据上述阐述，本发明的目的在于提供一种智能运维多源数据采集可视化分析系统，基于互联网大数据时代，解决运维数据的多样化、数据的可视化、数据分析的技术问题。

本发明提供的技术方案：

一种智能运维多源数据采集可视化分析系统，包括如下步骤：

Q1、多源化数据采集，对数据源的数据进行采集，所述数据源包括监控/时间序列数据、资源配置管理数据、应用服务日志数据、各种设备日志数据多种类的数据，数据格式包括：结构化数据、半结构化数据、非结构化数据；针对不同数据源数据的数据格式通过数据模板、数据分析规则等进行模式匹配，利用数据规则模式匹配方法进行统一的格式转换，将转换后的数据保存到相应数据存储中，不占用核心业务的存储资源；

Q2、数据分析，通过定时任务定期对已存储的数据进行处理，包括对数据进行预处理，采用数据特征抽取、数据融合，通过对应用服务器、网络设备、日志服务器等设备的数据进行关联性分析，对数据进行重新组织，提取出数据关键性指标、以及数据的关联关系进而形成一个相应的数据关系图，根据数据统计特征、供给链的特征以及行为特征等，对数据分析的流程进行制定，最终形成数据分析模型，对数据进行多维度下钻分析，发现数据信息中存在的运维问题，找到问题的根本原因，最终完成对运维数据的分析并排查发生问题的根本原因；

Q3、数据可视化，在Q1中存储得到的数据基础上，通过Q2进行数据分析后，提取数据中各项分类：包括CPU、磁盘空间、内存、网络流量、日志关键词关键性指标，并针对相应的各项关键性指标数据进行实时监测，并对要监控的数据进行快速配置，按照先总体、后分项；先图形、后列表的方式进行可视化展示，对数据进行可视化监控。

本发明的有益效果：通过对运行的系统所产生的多种数据进行采集，统一转换，独立部署在网络中，并对监控/时间序列数据、资源配置管理数据、应用服务日志数据、各种设备日志数据等多源数据进行提取、预处理，对核心业务系统的正常运行影响较小；采用大数据的存储技术对采集后数据进行实时处理转化提供了基础性平台，并可以对多源数据进行统一的查询、检索，使用大数据可视化，让大量的数据信息通过可视化方法转化为连贯的态势图，可以进行观测、发现运维中异常指标数据，并直观把控运维工作的状况，本发明可以对多源化数据，挖掘分析各项关键性数据指标，对各项运维指标进行分类管理，建立最优化策略进行数据指标多维分析、异常检测、容量规划、预测等更多场景的运维工作。

具体实施方式

下面对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

根据发明内容的提示，并与本发明的具体实施案例1，一起用于阐释本发明的原理，本发明提供了一种智能运维多源数据采集可视化分析系统。

实施例1：一种智能运维多源数据采集可视化分析系统，

一种智能运维多源数据采集可视化分析系统，按照如下步骤：

Q1、多源化数据采集，对数据源的数据进行采集，所述数据源包括监控/时间序列数据、资源配置管理数据、应用服务日志数据、各种设备日志数据多种类的数据，数据格式包括：结构化数据、半结构化数据、非结构化数据，具体：结构固定的数据，例如关系表中存放的数据；半结构化数据：结构不固定的数据，例如HTML、JSON；非结构化数据：没有结构的数据，例如二进制文件、图片等；针对不同数据源数据的数据格式通过数据模板、数据分析规则等进行模式匹配，利用数据规则模式匹配方法进行统一的格式转换，将转换后的数据保存到相应数据存储中，定时清空当前数据存储中所采集的数据，定期将采集数据统一转移到大数据仓库，转为大数据文件存储，不占用核心业务的存储资源；

Q2、数据分析，通过定时任务定期对已存储的数据进行处理，利用离线大数据仓库中的数据，根据每个时间段采集通过各种结构的不同类型多源化数据，进行数据挖掘以及关联性分析，提取数据中所需要的数据指标特征要素，处理时包括对数据进行预处理，采用数据特征抽取、数据融合，通过对应用服务器、网络设备、日志服务器等设备的数据进行关联性分析，对数据进行重新组织，提取出数据关键性指标、以及数据的关联关系进而形成一个相应的数据关系图，根据数据统计特征、供给链的特征以及行为特征等，对数据分析的流程进行制定，最终形成数据分析模型，对数据进行多维度下钻分析，发现数据信息中存在的运维问题，找到问题的根本原因，最终完成对运维数据的分析并排查发生问题的根本原因；

Q3、数据可视化，在Q1中存储得到的数据基础上，通过Q2进行数据分析后，提取数据中各项分类，得到的各特征要素选择模型并同时利用采集的离线数据进行模型训练，得到适合的预测规划、异常分析、异常检测等数据模型，提起CPU、磁盘空间、内存、网络流量、日志关键词等关键性指标，计算当前采集的数据的特征要素，并将对分析检测模型进行有效性评估，针对相应的各项关键性指标数据进行实时监测，模型评估验证后，将模型上线进行在线数据智能检测，并对要监控的数据进行快速配置，按照先总体、后分项；先图形、后列表的方式进行可视化展示，根据采集的多源数据不同类型协议数据，配置需要进行可视化展示的数据指标页面，从而通过可视化页面进行，实时监控多源数据的趋势，完成对数据进行可视化监控，具体的，对系统中监控数据和接入的相关数据源进行多维度的分析，让运维人员在大量数据中关注焦点问题，对于系统有更深入直观的了解，从而为后续的决策行动提供支持。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (1)

1.一种智能运维多源数据采集可视化分析系统，其特征在于：按照如下步骤：包括如下步骤：

Q1、多源化数据采集，对数据源的数据进行采集，所述数据源包括监控/时间序列数据、资源配置管理数据、应用服务日志数据、各种设备日志数据多种类的数据，数据格式包括：结构化数据、半结构化数据、非结构化数据；针对不同数据源数据的数据格式通过数据模板、数据分析规则等进行模式匹配，利用数据规则模式匹配方法进行统一的格式转换，将转换后的数据保存到相应数据存储中，不占用核心业务的存储资源；

Q2、数据分析，通过定时任务定期对已存储的数据进行处理，包括对数据进行预处理，采用数据特征抽取、数据融合，通过对应用服务器、网络设备、日志服务器等设备的数据进行关联性分析，对数据进行重新组织，提取出数据关键性指标、以及数据的关联关系进而形成一个相应的数据关系图，根据数据统计特征、供给链的特征以及行为特征等，对数据分析的流程进行制定，最终形成数据分析模型，对数据进行多维度下钻分析，发现数据信息中存在的运维问题，找到问题的根本原因，最终完成对运维数据的分析并排查发生问题的根本原因；

Q3、数据可视化，在Q1中存储得到的数据基础上，通过Q2进行数据分析后，提取数据中各项分类：包括CPU、磁盘空间、内存、网络流量、日志关键词关键性指标，并针对相应的各项关键性指标数据进行实时监测，并对要监控的数据进行快速配置，按照先总体、后分项；先图形、后列表的方式进行可视化展示，对数据进行可视化监控。