CN108563787A - 一种数据中心综合管理系统的数据交互管理系统及方法 - Google Patents

Abstract

本发明实施例公开了一种数据中心综合管理系统的数据交互管理系统及方法，包括：数据聚合处理模块、Web服务模块以及作业调度模块，所述数据聚合处理模块分别通信连接所述Web服务模块和作业调度模块，所述Web服务模块通信连接所述作业调度模块，其中，所述数据聚合处理模块用于存储数据，所述Web服务模块用于进行操作功能模块化封装，所述作业调度模块用于业务调度管理。本发明实施例可以实现数据的整体管理，提高资源利用率和数据管理效率。

Description

一种数据中心综合管理系统的数据交互管理系统及方法

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据中心综合管理系统的数据交互管理系统及方法。

背景技术

随着数据中心综合管理系统的数据越来越来庞大，对数据的处理引入了更健壮的架构。

现有技术中，数据中心综合管理系统的数据交互仍然是通过传统的Web网页进行展现，这些展现通常是最终的数据展示结果，而这些展示结果的数据量和计算程度均不复杂主要通过Hadoop实现。Hadoop实现了一个分布式文件系统(Hadoop Distributed FileSystem，HDFS)。充分利用集群的威力进行高速运算和存储。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。Hive是Hadoop生态系统内的数据仓库平台，用于在HDFS上构建数据仓库来存储结构化数据，Hive提供了类似于SQL的查询语言HiveQL，可以提供数据表的创建、查询和变更等操作。在原生Hadoop大数据环境中，若要使用Hive在HDFS上创建数据库表，需要登录到Hive服务器，并在服务器端命令窗口中编写Shell脚本才能完成创建数据库表。

然而，现有技术中，通过Web网页进行数据交互以及通过HDFS进行分布式文件存储是分别独立进行的，各自的实现过程复杂，且不能与业务信息以及综合管理系统的其他数据进行综合管理，降低了综合管理系统的资源利用率和数据管理效率。

发明内容

本发明实施例中提供了一种数据中心综合管理系统的数据交互管理系统及方法，以解决现有技术中的资源利用率和数据管理效率低的问题。

为了解决上述技术问题，本发明实施例公开了如下技术方案：

本发明第一方面提供了一种数据中心综合管理系统的数据交互管理系统，包括：数据聚合处理模块、Web服务模块以及作业调度模块，所述数据聚合处理模块分别通信连接所述Web服务模块和作业调度模块，所述Web服务模块通信连接所述作业调度模块，其中，所述数据聚合处理模块用于存储数据，所述Web服务模块用于进行操作功能模块化封装，所述作业调度模块用于业务调度管理。

优选地，所述数据聚合处理模块包括数据服务接口单元、元数据单元和数据单元，其中，所述数据服务接口单元用于服务接口注册和管理功能；所述元数据单元用于对分布式系统中的数据对象逻辑结构的维护和管理；所述数据单元用于对存储数据的查询和维护。

优选地，所述Web服务模块包括Hbase单元、Hive单元、HDFS单元和ZooKeeper单元，其中，所述Hbase单元用于Hbase表的创建、修改及数据查看；所述HDFS单元用于文件上传、下载、复制、移动、删除及权限变更；所述HIVE单元用于将SQL语句转换为分布式并行计算业务；所述ZooKeeper单元用于查看大数据集群在ZooKeeper系统上注册的节点信息。

优选地，所述作业调度模块包括资源管理器、队列管理器以及作业调度器，其中，所述资源管理器用于存储接受到的业务信息；所述队列管理器用于从所述资源管理器中的业务信息进行预读取；所述作业调度器用于对所述业务信息进行分配调度。

优选地，所述业务信息包括批处理作业、交互式作业、串行和并行作业。

优选地，所述系统还包括三维显示模块，所述三维显示模块分别通信连接综合管理系统和所述数据聚合处理模块、Web服务模块以及作业调度模块，对各数据信息进行三维显示。

优选地，所述三维显示模块包括告警单元、监控数据单元、监控预警单元。

本发明第二方面提供了一种数据中心综合管理系统的数据交互管理方法，包括：

获取综合管理系统数据；

对所述数据进行Web服务处理，和/或，对所述数据进行作业调度处理；

对所述数据以及作业调度进行三维显示。

优选地，所述对所述数据进行Web服务处理具体包括：

对于需要创建、修改或查看Hbase表的数据进行Hbase表创建、修改或查看操作；

对于需要进行可分布操作的数据进行文件上传、下载、复制、移动、删除或权限变更操作；

对于需要进行并行计算操作的数据将SQL语言转换为分布式并行计算业务；

对于需要查看节点信息的数据进行节点信息查看操作。

优选地，所述对所述数据进行作业调度处理具体包括：

从接受到的数据中选取业务信息并进行初次作业分配；

将剩余业务信息及新接受到的业务信息进行保存；

对已保存的业务信息进行预读取；

对预读取的业务信息进行再次作业分配；

判断预读取业务是否全部分配完毕；

如果是则结束作业分配，如果否则对预读取的业务进行作业分配。

由以上技术方案可见，本发明中包括数据聚合处理模块、Web服务模块以及作业调度模块，所述数据聚合处理模块分别通信连接所述Web服务模块和作业调度模块，所述Web服务模块通信连接所述作业调度模块，数据中心综合管理系统的数据被数据聚合模块接受并保存，保存后的数据由数据聚合处理模块根据数据要进行的相应处理发送给相应的模块，Web服务模块以Web服务的方式对需要进行分布式操作的数据进响应的处理行，作业调度模块对业务信息进行业务分配调度，Web服务模块和作业调度模块可以同时独立工作，在进行数据存储的过程中实现业务的同步处理，最后通过三维显示模块进行显示，可以实现数据的整体管理，提高资源利用率和数据管理效率。

附图说明

了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种数据中心综合管理系统的数据交互管理系统的结构示意图；

图2为本发明实施例提供的另一种数据中心综合管理系统的数据交互管理系统的结构示意图；

图3为本发明实施例提供的另一种数据中心综合管理系统的数据交互管理系统的结构示意图；

图4为本发明实施例提供的一种数据中心综合管理系统的数据交互管理方法的流程示意图；

图5为本发明实施例提供的作业调度方法的结构流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

参见图1，为本发明实施例提供的一种数据中心综合管理系统的数据交互管理系统的结构示意图，如图1所示，本发明实施例提供的数据交互管理系统，包括：数据聚合处理模块、Web服务模块以及作业调度模块。

所述数据聚合处理模块分别通信连接所述Web服务模块和作业调度模块，所述Web服务模块通信连接所述作业调度模块，其中，所述数据聚合处理模块用于存储数据并进行可视化管理，所述Web服务模块用于进行操作功能模块化封装，所述作业调度模块用于业务调度管理。

数据中心综合管理系统包括业务量、待处理的数据等全部信息，并全部保存在数据聚合处理模块，进行数据综合管理，将分散的数据集中的一起，提高数据管理效率。Web服务模块主要进行数据的分布式管理，将现有技术中分布式存储的各步骤按功能进行封装，用户在使用时只需进行简单的操作，简化了分布式操作的步骤。作业调度模块将数据中心的业务量进行调度分配，提高资源利用效率。

参见图2，为本发明实施例提供的另一种数据中心综合管理系统的数据交互管理系统的结构示意图，如图2所示，所述数据聚合处理模块包括数据服务接口单元、元数据单元和数据单元。

数据服务接口单元用于服务接口注册和管理功能，提供标准的输入和输出接口，规范数据输入接口、输出接口以及接口技术标准，并提供接口运行状态的实时监控、接口日志和错误信息管理等功能。元数据单元用于对分布式系统中的文件、表、视图等数据对象逻辑结构的维护和管理，包括元数据的查询、分析和数据流全程展示等功能。数据单元用于对存储数据的可视化查询和维护功能，改变Hadoop本身需要敲命令查询和维护表中存储数据的方式。

所述Web服务模块包括Hbase单元、Hive单元、HDFS单元和ZooKeeper单元，图2中开源数据库单元即为Hbase单元，数据仓库单元即为Hive单元，协调单元即为ZooKeeper单元。

Web服务模块对Hadoop系统中Hbase、Hive(数据仓库)、HDFS以及ZooKeeper(分布式协作服务)的操作功能进行封装，通过可视化手段实现基于Web页面的向导式操作，将原先需要由程序开发来实现的功能转变为图形可视化的方式直接操作，大幅提升大数据应用的开发效率。其中，Hbase单元可视化管理实现Hadoop系统中Hbase表的创建、修改及数据查看的便捷操作。Hive单元实现将SQL语句转换为分布式并行计算的业务，实现在HDFS上可视化构建数据仓库以存储结构化数据，并执行数据库和表的创建、修改等功能。HDFS单元实现窗口式的文件上传、下载、复制、移动、删除以及权限变更等功能。ZooKeeper单元提供用户查看大数据集群在ZooKeeper系统上注册的节点信息，具体包括节点名、节点属性列表、节点数据以及节点版本等信息，能够帮助用户快速查看集群状态并追踪问题故障。

所述作业调度模块包括资源管理器、队列管理器以及作业调度器。

所述资源管理器用于存储接受到的业务信息，当数据中心业务量较大时，难以保证全部的业务可以同时处理，不能及时处理的业务存放在资源管理器中，当有空闲设备可以执行业务时，则将资源管理器中的业务取出进行处理。

所述队列管理器用于从所述资源管理器中的业务信息进行预读取，资源管理器中的业务与执行设备之间的数据读取较慢，另外，如果直接从资源管理器中读取业务需要区业务的优先级，降低了业务执行的效率，通过队列管理器，将优先级高的业务读取出来并以先进先出队列形式进行缓存，缩短了业务处理的时间，提高了业务处理的效率。

所述作业调度器用于对所述业务信息进行分配调度，作业调度器对需要处理的业务进行分配，为其分配最优处理设备或处理过程，进一步提高业务处理效率。

所述业务信息包括批处理作业、交互式作业、串行和并行作业。

参见图3，为本发明实施例提供的另一种数据中心综合管理系统的数据交互管理系统的结构示意图，如图3所示，所述系统还包括三维显示模块，所述三维显示模块分别连接综合管理系统和所述数据聚合处理模块、Web服务模块以及作业调度模块，对各模块数据信息进行三维显示，其中，所述三维显示模块包括告警单元、监控数据单元、监控预警单元。

三维展示模块将综合管理系统中的IT网管系统、动力环境监控系统、视频监控系统以及门禁管理系统与所述数据聚合处理模块、Web服务模块以及作业调度模块采用WebService方法进行集成，进行数据和业务信息显示。

告警单元用于告警事件的统一展现，能够以设备对象编号为唯一标识，有效整合IT网管系统、动力环境监控系统、视频监控系统以及门禁管理系统的告警事件，为运维人员提供一个统一的告警监控管理界面，实现数据中心告警事件的综合管理。

监控数据单元用于各系统监控数据的统一集成展示，以设备对象编号为唯一标识，把现有的IT网管系统、动力环境监控系统、视频监控系统以及门禁管理系统以设备对象为基础的监控信息集成展示，实现数据中心实时数据的综合管理。

监控预警单元用于实现主机资源和服务进程监控、预警通知以及预警阈值管理等功能，提供用户实时查看集群各节点CPU、内存以及硬盘等系统资源耗用情况，同时对网络超时或系统负载的节点进行实时预警；用户可以按需对服务器节点执行重启、更新或移除等操作；配置管理提供用户以树形方式管理Hadoop、Hbase等大数据集群配置项功能，实现大数据平台配置项的统一维护与集中管理。

三维展示模块帮助数据中心整合分散的监控工具，实现监控工具、监控数据的价值最大化，真正改变监控数据孤岛现象，建立统一监控信息界面，同时扭转由于二维信息密度不足而导致的数据与报表泛滥状况，以三维形式将数据中心各方面的情况直观表达，切实提升监控管理水平。

三维展示模块实现对大数据集群环境运行状态的在线集中监控和预警、实现对大数据平台参数的统一配置管理，构建集可视化监控、告警、配置管理、集群维护等功能于一体的运维监控平台。

三维展示模块通过以机柜为单位的数据中心空间容量管理，以树形数据呈现和三维场景展现两种方式同时表现机房和机柜整体使用情况，对于已用空间和可用空间进行精确统计和展现。帮助数据中心更加有效管理机房的容量资源，让机房的各类资源的负荷更加均衡，使运维人员可以实现以机柜为单位的数据中心容量管理。

三维展示模块为数据中心在物理环境仿真再现的基础上，提供灵活强大的可视化展示功能，可以实现数据中心基础设施多样化的展示需求，如逻辑关系表达、模拟故障、模拟气流、PPT整合及自动巡检及演示路线定制等，有力提升数据中心的整体形象，充分体现数据中心的管理水平。

参见图4，为本发明实施例提供的一种数据中心综合管理系统的数据交互管理方法的流程示意图，如图4所示，本发明实施例提供的数据交互管理方法，包括：

S10：获取综合管理系统数据。

数据聚合处理模块获取综合管理系统数据，保存后发送给Web服务模块以及作业调度模块。

S20：对所述数据进行Web服务处理。

所述Web服务模块对接受到的数据进行相应处理，具体的，对于需要创建、修改或查看Hbase表的数据通过Hbase单元进行Hbase表创建、修改或查看；对于需要进行可分布操作的数据通过HDFS单元进行文件上传、下载、复制、移动、删除或权限变更；对于需要进行并行计算操作的数据通过HIVE单元将SQL语言转换为分布式并行计算业务；对于需要查看节点信息的数据通过ZooKeeper单元进行节点信息查看。

S30：对所述数据进行作业调度处理。

作业调度模块根据接受到的数据进行相应处理。参见图5，为本发明实施例提供的作业调度方法的结构流程示意图，如图5所示，步骤S30具体包括：

S301：从接受到的数据中选取业务信息并进行初次作业分配。

S302：将剩余业务信息及新接受到的业务信息进行保存。

S303：对已保存的业务信息进行预读取。

S304：对预读取的业务信息进行再次作业分配。

S305：判断预读取业务是否全部分配完毕。

如果是则结束作业分配，如果否则对预读取的业务进行作业分配。

S40：对所述数据以及作业调度进行三维显示。

三维显示模块对各模块数据信息进行三维显示。

本发明中包括数据聚合处理模块、Web服务模块以及作业调度模块，所述数据聚合处理模块分别通信连接所述Web服务模块和作业调度模块，所述Web服务模块通信连接所述作业调度模块，数据中心综合管理系统的数据被数据聚合模块接受并保存，保存后的数据由数据聚合处理模块根据数据要进行的相应处理发送给相应的模块，Web服务模块以Web服务的方式对需要进行分布式操作的数据进响应的处理行，作业调度模块对业务信息进行业务分配调度，Web服务模块和作业调度模块可以同时独立工作，在进行数据存储的过程中实现业务的同步处理，最后通过三维显示模块进行显示，可以实现数据的整体管理，提高资源利用率和数据管理效率。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据中心综合管理系统的数据交互管理系统，其特征在于，包括：数据聚合处理模块、Web服务模块以及作业调度模块，所述数据聚合处理模块分别通信连接所述Web服务模块和作业调度模块，所述Web服务模块通信连接所述作业调度模块，其中，所述数据聚合处理模块用于存储数据，所述Web服务模块用于进行操作功能模块化封装，所述作业调度模块用于业务调度管理。

2.根据权利要求1所述的数据交互管理系统，其特征在于，所述数据聚合处理模块包括数据服务接口单元、元数据单元和数据单元，其中，所述数据服务接口单元用于服务接口注册和管理功能；所述元数据单元用于对分布式系统中的数据对象逻辑结构的维护和管理；所述数据单元用于对存储数据的查询和维护。

3.根据权利要求1所述的数据交互管理系统，其特征在于，所述Web服务模块包括Hbase单元、Hive单元、HDFS单元和ZooKeeper单元，其中，所述Hbase单元用于Hbase表的创建、修改及数据查看；所述HDFS单元用于文件上传、下载、复制、移动、删除及权限变更；所述HIVE单元用于将SQL语句转换为分布式并行计算业务；所述ZooKeeper单元用于查看大数据集群在ZooKeeper系统上注册的节点信息。

4.根据权利要求1所述的数据交互管理系统，其特征在于，所述作业调度模块包括资源管理器、队列管理器以及作业调度器，其中，所述资源管理器用于存储接受到的业务信息；所述队列管理器用于从所述资源管理器中的业务信息进行预读取；所述作业调度器用于对所述业务信息进行分配调度。

5.根据权利要求4所述的数据交互管理系统，其特征在于，所述业务信息包括批处理作业、交互式作业、串行和并行作业。

6.根据权利要求1-5任一所述的数据交互管理系统，其特征在于，所述系统还包括三维显示模块，所述三维显示模块分别通信连接综合管理系统和所述数据聚合处理模块、Web服务模块以及作业调度模块，对各数据信息进行三维显示。

7.根据权利要求6所述的数据交互管理系统，其特征在于，所述三维显示模块包括告警单元、监控数据单元、监控预警单元。

8.一种数据中心综合管理系统的数据交互管理方法，其特征在于，包括：

获取综合管理系统数据；

对所述数据进行Web服务处理，和/或，对所述数据进行作业调度处理；

对所述数据以及作业调度进行三维显示。

9.根据权利要求8所述的数据交互管理方法，其特征在于，所述对所述数据进行Web服务处理具体包括：

对于需要创建、修改或查看Hbase表的数据进行Hbase表创建、修改或查看操作；

对于需要进行可分布操作的数据进行文件上传、下载、复制、移动、删除或权限变更操作；

对于需要进行并行计算操作的数据将SQL语言转换为分布式并行计算业务；

对于需要查看节点信息的数据进行节点信息查看操作。

10.根据权利要求8所述的数据交互管理方法，其特征在于，所述对所述数据进行作业调度处理具体包括：

从接受到的数据中选取业务信息并进行初次作业分配；

将剩余业务信息及新接受到的业务信息进行保存；

对已保存的业务信息进行预读取；

对预读取的业务信息进行再次作业分配；

判断预读取业务是否全部分配完毕；

如果是则结束作业分配，如果否则对预读取的业务进行作业分配。