CN109522360A - 一种大数据中心监控数据可视化系统及方法 - Google Patents

Abstract

本发明涉及数据可视化技术领域，具体公开了一种大数据中心数据可视化系统，其中，包括：数据采集模块，数据采集模块用于实时采集多个被监控设备的状态信息；数据处理模块，数据处理模块用于处理状态信息，并生成处理结果；数据管理模块，数据管理模块用于存储状态信息和处理结果；数据可视化模块，数据可视化模块用于根据运维实际业务场景分别以不同的web页面显示处理结果和状态信息种。本发明还公开了一种大数据中心数据可视化方法。本发明提供的大数据中心数据可视化系统从多个视角对被监控设备进行组织和集中可视化展现，方便了不同人员在不同场景下完成业务时，能够快速获取和确认状况，及时发现故障。

Description

一种大数据中心监控数据可视化系统及方法

技术领域

本发明涉及数据可视化技术领域，尤其涉及一种大数据中心监控数据可视化系统及一种大数据中心监控数据可视化方法。

背景技术

随着大数据技术发展，各类大数据中间件运用于大数据中心，为多源异构的海量数据提供存储管理服务。软件设施种类和数量的增加，使得监控数据的种类随着提高，从而提高了运维监控工作的难度。

现有技术中公开了一些监控系统，如公开号为CN106549829A的专利文献《大数据计算平台监控系统及方法》；公开号为CN103001806A的专利文献《用于IT系统的分布式运维监控系统》、公开号为CN106375119A的专利文献《运维监控系统及方法》等等，分析其中的技术细节可知，其对由多种大数据中间件组成并提供存储管理服务的数据中心，缺乏对监控数据的有效整理，主要体现在以下几个方面：

第一方面，当前工作缺乏对中间件软件，尤其是各类分布式文件系统、数据库系统、内存数据库等大数据中间件缺乏全面监控；

第二方面，当前工作缺乏对监控数据的组织以及与实际业务的结合，运维人员需要依靠经验整理这些数据。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一，提供一种大数据中心监控数据可视化系统及一种大数据中心监控数据可视化方法，以解决现有技术中的问题。

作为本发明的第一个方面，提供一种大数据中心数据可视化系统，其中，所述大数据中心数据可视化系统包括：

数据采集模块，所述数据采集模块用于实时采集多个被监控设备的状态信息，其中所述被监控设备包括硬件设备和中间件软件；

数据处理模块，所述数据处理模块用于处理所述状态信息，并生成处理结果；

数据管理模块，所述数据管理模块用于存储所述状态信息和所述处理结果；

数据可视化模块，所述数据可视化模块用于根据运维实际业务场景分别以不同的web页面显示所述处理结果和所述状态信息，其中所述运维实际业务场景包括网络状况监控场景、集群状态监控场景、高负载任务监控场景、日常巡检场景和重点监控场景中的任意一种。

优选地，所述数据可视化模块包括：

网络状况单元，所述网络状况单元用于以网络拓扑图的方式集中显示所述被监控设备的网络资源运行状态、网络资源运行能力和网络故障信息；

集群状态单元，所述集群状态单元用于集中显示所述被监控设备的中间件软件运行状态、中间件软件运行能力和存储资源；

故障状态单元，所述故障状态单元用于发现发生故障的被监控设备；

日常巡检单元，所述日常巡检单元用于以表格的形式显示被监控设备的运行状态；

重点监控单元，所述重点监控单元用于选择所述网络状态单元、集群状态单元和故障状态单元中的与被监控设备相关的状态信息的显示结果，并用于在同一个web页面上显示。

优选地，所述网络状态单元包括：

硬件连接显示单元，所述硬件连接显示单元用于显示网络设备信息；

软件连接显示单元，所述软件连接显示单元用于显示软件之间的调用情况；

软硬件连接显示单元，所述软硬件连接显示单元用于显示软件输入输出信息。

优选地，所述网络设备信息包括网络传输速度、网络占用率和网络丢包率。

优选地，所述软件之间的调用情况包括中间件软件之间接收请求总量、发送请求总量、返回结果的数量和请求成功率。

优选地，所述软件输入输出信息包括中间件软件占用的网络带宽、硬盘吞吐量和硬盘读写数据量。

优选地，所述集群状态显示单元包括：

集群基础信息显示单元，所述集群基础信息显示单元用于显示不同集群间共有的监控信息；

分布式文件系统监控显示单元，所述分布式文件系统监控显示单元用于实现多种分布式文件系统集群监控指标的可视化；

内存数据库系统监控显示单元，所述内存数据库系统监控显示单元用于实现多种内存数据库系统监控指标的可视化；

分布式列是存储系统监控显示单元，所述分布式列是存储系统监控显示单元用于实现存储系统集群监控指标的可视化；

分布式数据库系统监控显示单元，所述分布式数据库系统监控显示单元用于实现多种分布式数据库系统集群监控指标的可视化。

优选地，所述故障状态单元包括：高危设备监控显示和易损设备监控显示。

优选地，所述日常巡检单元包括：

容量巡检显示单元，所述容量巡检显示单元用于实现所述被监控设备的容量占用情况的监控指标的可视化；

网络巡检信息显示单元，所述网络巡检信息显示单元用于实现所述被监控设备的网络情况的监控指标的可视化；

设备巡检信息显示单元，所述设备巡检信息显示单元用于实现硬件设备监控指标的可视化。

作为本发明的第二个方面，提供一种大数据中心数据可视化方法，其中，所述大数据中心数据可视化方法包括：

实时采集多个被监控设备的状态信息；

处理所述状态信息，并生成处理结果；

存储所述状态信息和所述处理结果；

根据运维实际业务场景分别以不同的web页面显示所述处理结果和所述状态信息，其中所述运维实际业务场景包括网络状况监控场景、集群状态监控场景、高负载任务监控场景、日常巡检场景和重点监控场景中的任意一种。

本发明提供的大数据中心数据可视化系统，通过数据采集模块实时采集被监控设备的状态信息，并对其进行处理和存储，最终根据运维实际业务场景通过数据可视化模块进行可视化显示，从多个视角对被监控设备进行组织和集中可视化展现，方便了不同人员在不同场景下完成业务时，能够快速获取和确认状况，及时发现故障。

附图说明

附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：

图1为本发明提供的大数据中心数据可视化系统的结构框图。

图2为本发明提供的大数据中心数据可视化方法的流程图。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

作为本发明的第一个方面，提供一种大数据中心数据可视化系统，其中，如图1所示，所述大数据中心数据可视化系统100包括：

数据采集模块110，所述数据采集模块110用于实时采集多个被监控设备的状态信息，其中所述被监控设备包括硬件设备和中间件软件；

数据处理模块120，所述数据处理模块120用于处理所述状态信息，并生成处理结果；

数据管理模块130，所述数据管理模块130用于存储所述状态信息和所述处理结果；

数据可视化模块140，所述数据可视化模块140用于根据运维实际业务场景分别以不同的web页面显示所述处理结果和所述状态信息，其中所述运维实际业务场景包括网络状况监控场景、集群状态监控场景、高负载任务监控场景、日常巡检场景和重点监控场景中的任意一种。

本发明提供的大数据中心数据可视化系统，通过数据采集模块实时采集被监控设备的状态信息，并对其进行处理和存储，最终根据运维实际业务场景通过数据可视化模块进行可视化显示，从多个视角对被监控设备进行组织和集中可视化展现，方便了不同人员在不同场景下完成业务时，能够快速获取和确认状况，及时发现故障。

具体地，所述数据采集模块110用于采集和汇聚多个被监控设备的状态信息，其中所述被监控设备包括硬件设备和中间件软件，所述硬件设备包括网络设备、计算设备和存储设备，所述中间件软件包括分布式文件系统、内存数据库系统、分布式列式存储系统和分布式数据库系统等。

具体地，所述数据可视化模块140从运维实际业务场景出发，整理监控指标，并以不同的web页面进行结果显示。运维人员在执行某个大数据中心监控任务时，可以从某一个页面中获取执行任务所需的显示结果。所述监控指标包括各种设备设施运行状态信息和处理结果信息，所述运维实际业务场景包含网络状况监控场景、集群状态监控场景、高负载任务监控场景、日常巡检场景、重点监控场景。

数据中心包含多种设备设施，多层次的监控数据使得运维人员在日常的监控和运维工作中，需要根据经验提取和整理这些数据，以判断系统状况和定位故障，这往往需要运维人员具备较强的能力，并消耗大量时间才能获得。大数据中心监控数据可视化系统根据大数据中心运维特点，从业务场景层面重新组织和整理这些数据，方便运维人员判断系统状况和定位故障。

具体地，所述数据可视化模块140包括：

网络状况单元，所述网络状况单元用于以网络拓扑图的方式集中显示所述被监控设备的网络资源运行状态、网络资源运行能力和网络故障信息；

具体地，网络状况单元以网络拓扑图方式集中显示所述被监控设备设施中，可以描述网络资源运行状态、能力或表征网络故障的监控指标，用于运维人员完成网络状态监控场景并及时发现网络故障。

集群状态单元，所述集群状态单元用于集中显示所述被监控设备的中间件软件运行状态、中间件软件运行能力和存储资源；

具体地，集群状态单元集中显示所述被监控设备设施中，可以描述计算、存储资源、中间件软件运行状态、能力的数据信息或表征这些设备设施故障的监控指标，用于运维人员完成集群状态监控场景，及时发现集群故障，其中所述集群是指多台安装有中间件软件的硬件设备。

故障状态单元，所述故障状态单元用于发现发生故障的被监控设备；

具体地，故障状态单元用于运维人员完成高负载任务监控场景时，及时发现最可能发生故障的设备设施，故障状态模块按照设备设施分为经常发生故障、容易发生故障的设备两类，按照分类显示设备设施，并按照监控指标对各分类中的设备设施进行排序。

日常巡检单元，所述日常巡检单元用于以表格的形式显示被监控设备的运行状态；

具体地，日常巡检单元用于将最可能出现问题、最重要的监控指标以列表方式进行呈现，帮助于运维人员在完成日常巡检场景时，快速获取多个结果、检查系统运行状态。

重点监控单元，所述重点监控单元用于选择所述网络状态单元、集群状态单元和故障状态单元中的与被监控设备相关的状态信息的显示结果，并用于在同一个web页面上显示。

具体地，重点监控单元由用户自定义选择网络状态、集群状态、故障状态当中与任务相关监控指标的显示结果，在一个Web页面上显示，用于运维人员完成重点监控场景。

进一步具体地，所述网络状态单元包括：

硬件连接显示单元，所述硬件连接显示单元用于显示网络设备信息；

具体地，所述硬件连接显示单元用于显示网络设备信息，包括多个网络监控指标的可视化，具体包括：网络传输速度、占用率、丢包率等指标。

软件连接显示单元，所述软件连接显示单元用于显示软件之间的调用情况；

具体地，所述软件连接显示单元用于软件之间的调用情况，包括多个网络监控指标的可视化，具体包括：所述中间件软件之间接受请求总量、发送请求总量、返回结果的数量、请求成功率等指标。

软硬件连接显示单元，所述软硬件连接显示单元用于显示软件输入输出信息。

具体地，所述软硬件连接显示单元用于软件输入输出信息，包含多个网络监控指标的可视化，具体包括：所述中间件软件占用的网络带宽、硬盘吞吐量、硬盘读写数据量等监控指标。

优选地，所述网络设备信息包括网络传输速度、网络占用率和网络丢包率。

优选地，所述软件之间的调用情况包括中间件软件之间接收请求总量、发送请求总量、返回结果的数量和请求成功率。

具体地，所述软件输入输出信息包括中间件软件占用的网络带宽、硬盘吞吐量和硬盘读写数据量。

具体地，所述集群状态显示单元包括：

集群基础信息显示单元，所述集群基础信息显示单元用于显示不同集群间共有的监控信息；

具体地，所述集群基础信息显示单元，用于显示不同集群间共有的监控指标，具体包括：中间件名称版本、持续运行时间、存活状况、系统总体容量、已使用的容量、数据总条数等监控指标。

分布式文件系统监控显示单元，所述分布式文件系统监控显示单元用于实现多种分布式文件系统集群监控指标的可视化；

具体地，所述分布式文件系统监控显示单元，用于实现HDFS、MooseFS、TFS等多种分布式文件系统集群监控指标的可视化，具体包括：总体容量状况、读出文件/块状况、写入文件/块状况、推迟或错误写入的文件/块状况等监控指标。

内存数据库系统监控显示单元，所述内存数据库系统监控显示单元用于实现多种内存数据库系统监控指标的可视化；

具体地，内存数据库系统监控显示单元，用于实现Redis、Memcached等多种内存数据库系统监控指标的可视化，具体包括：内存使用占比、本身进程使用内存大小、内存碎片率、请求键被命中状况、持久化状况、键空间状态、响应时间等监控指标。

分布式列是存储系统监控显示单元，所述分布式列是存储系统监控显示单元用于实现存储系统集群监控指标的可视化；

具体地，所述分布式列式存储系统监控显示单元，包含HBASE存储系统集群监控指标的可视化，具体包括缓存状况、读写Hlog状况、Flush过程状况、Compaction过程状况等监控指标。

分布式数据库系统监控显示单元，所述分布式数据库系统监控显示单元用于实现多种分布式数据库系统集群监控指标的可视化。

具体地，所述分布式数据库系统监控显示单元，包含MySQL、Postgres-XL、HWAQ等多种分布式数据库系统集群监控指标的可视化，具体包括：容量状况、缓存状况、连接状况、请求状况、命令执行状况等监控指标。

具体地，所述故障状态单元包括：高危设备监控显示和易损设备监控显示。

具体地，所述故障状态模块用于运维人员及时发现故障设备或者节点，按照监控指标将经常发生故障、容易发生故障和需要重点关注的设备设施进行分类和排序，同时显示这些监控指标，具体包含高危设备监控显示单元、易损设备监控显示单元；所述高危设备监控显示单元，用于实现经常发生故障设备的监控指标可视化，所述被监控设备根据监控指标的进行排序，所述高危设备监控显示单元的监控指标具体包括提交问题、异常关闭、异常断开和报警数量等；

所述易损设备监控显示单元，用于实现对长期高负荷运行、容易发生故障的监控指标可视化，所述被监控设备根据监控指标进行排序，所述易损设备监控显示单元的监控指标具体包括持续运行时间、各类资源高负荷持续时间、新建连接数和进程数等。

具体地，所述日常巡检单元包括：

容量巡检显示单元，所述容量巡检显示单元用于实现所述被监控设备的容量占用情况的监控指标的可视化；

网络巡检信息显示单元，所述网络巡检信息显示单元用于实现所述被监控设备的网络情况的监控指标的可视化；

具体地，所述容量巡检信息显示单元，用于实现所述被监控设备设施中描述容量占用情况的监控指标的可视化。

具体地，所述网络巡检信息显示单元，用于实现表征被监控设备设施网络情况的监控指标的可视化，具体包含丢包量、丢包率、平均时延等监控指标。

设备巡检信息显示单元，所述设备巡检信息显示单元用于实现硬件设备监控指标的可视化。

具体地，所述设备巡检信息显示单元，用于实现经常异常关闭和重启的硬件设备监控指标的可视化，具体包含最近关闭时间，本周开启次数、本周关闭次数等监控指标。

作为本发明的第二个方面，提供一种大数据中心数据可视化方法，其中，如图2所示，所述大数据中心数据可视化方法包括：

S110、实时采集多个被监控设备的状态信息；

S120、处理所述状态信息，并生成处理结果；

S130、存储所述状态信息和所述处理结果；

S140、根据运维实际业务场景分别以不同的web页面显示所述处理结果和所述状态信息，其中所述运维实际业务场景包括网络状况监控场景、集群状态监控场景、高负载任务监控场景、日常巡检场景和重点监控场景中的任意一种。

本发明提供的大数据中心数据可视化方法，通过实时采集被监控设备的状态信息，并对其进行处理和存储，最终根据运维实际业务场景通过数据可视化模块进行可视化显示，从多个视角对被监控设备进行组织和集中可视化展现，方便了不同人员在不同场景下完成业务时，能够快速获取和确认状况，及时发现故障。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (10)

1.一种大数据中心数据可视化系统，其特征在于，所述大数据中心数据可视化系统包括：

数据采集模块，所述数据采集模块用于实时采集多个被监控设备的状态信息，其中所述被监控设备包括硬件设备和中间件软件；

数据处理模块，所述数据处理模块用于处理所述状态信息，并生成处理结果；

数据管理模块，所述数据管理模块用于存储所述状态信息和所述处理结果；

数据可视化模块，所述数据可视化模块用于根据运维实际业务场景分别以不同的web页面显示所述处理结果和所述状态信息，其中所述运维实际业务场景包括网络状况监控场景、集群状态监控场景、高负载任务监控场景、日常巡检场景和重点监控场景中的任意一种。

2.根据权利要求1所述的大数据中心数据可视化系统，其特征在于，所述数据可视化模块包括：

网络状况单元，所述网络状况单元用于以网络拓扑图的方式集中显示所述被监控设备的网络资源运行状态、网络资源运行能力和网络故障信息；

集群状态单元，所述集群状态单元用于集中显示所述被监控设备的中间件软件运行状态、中间件软件运行能力和存储资源；

故障状态单元，所述故障状态单元用于发现发生故障的被监控设备；

日常巡检单元，所述日常巡检单元用于以表格的形式显示被监控设备的运行状态；

重点监控单元，所述重点监控单元用于选择所述网络状态单元、集群状态单元和故障状态单元中的与被监控设备相关的状态信息的显示结果，并用于在同一个web页面上显示。

3.根据权利要求2所述的大数据中心数据可视化系统，其特征在于，所述网络状态单元包括：

硬件连接显示单元，所述硬件连接显示单元用于显示网络设备信息；

软件连接显示单元，所述软件连接显示单元用于显示软件之间的调用情况；

软硬件连接显示单元，所述软硬件连接显示单元用于显示软件输入输出信息。

4.根据权利要求3所述的大数据中心数据可视化系统，其特征在于，所述网络设备信息包括网络传输速度、网络占用率和网络丢包率。

5.根据权利要求3所述的大数据中心数据可视化系统，其特征在于，所述软件之间的调用情况包括中间件软件之间接收请求总量、发送请求总量、返回结果的数量和请求成功率。

6.根据权利要求3所述的大数据中心数据可视化系统，其特征在于，所述软件输入输出信息包括中间件软件占用的网络带宽、硬盘吞吐量和硬盘读写数据量。

7.根据权利要求2所述的大数据中心数据可视化系统，其特征在于，所述集群状态显示单元包括：

集群基础信息显示单元，所述集群基础信息显示单元用于显示不同集群间共有的监控信息；

分布式文件系统监控显示单元，所述分布式文件系统监控显示单元用于实现多种分布式文件系统集群监控指标的可视化；

内存数据库系统监控显示单元，所述内存数据库系统监控显示单元用于实现多种内存数据库系统监控指标的可视化；

分布式列是存储系统监控显示单元，所述分布式列是存储系统监控显示单元用于实现存储系统集群监控指标的可视化；

分布式数据库系统监控显示单元，所述分布式数据库系统监控显示单元用于实现多种分布式数据库系统集群监控指标的可视化。

8.根据权利要求2所述的大数据中心数据可视化系统，其特征在于，所述故障状态单元包括：高危设备监控显示和易损设备监控显示。

9.根据权利要求2所述的大数据中心数据可视化系统，其特征在于，所述日常巡检单元包括：

容量巡检显示单元，所述容量巡检显示单元用于实现所述被监控设备的容量占用情况的监控指标的可视化；

网络巡检信息显示单元，所述网络巡检信息显示单元用于实现所述被监控设备的网络情况的监控指标的可视化；

设备巡检信息显示单元，所述设备巡检信息显示单元用于实现硬件设备监控指标的可视化。

10.一种大数据中心数据可视化方法，其特征在于，所述大数据中心数据可视化方法包括：

实时采集多个被监控设备的状态信息；

处理所述状态信息，并生成处理结果；

存储所述状态信息和所述处理结果；

根据运维实际业务场景分别以不同的web页面显示所述处理结果和所述状态信息，其中所述运维实际业务场景包括网络状况监控场景、集群状态监控场景、高负载任务监控场景、日常巡检场景和重点监控场景中的任意一种。