CN108182263A - 一种数据中心综合管理系统的数据存储方法 - Google Patents

Abstract

本发明公开了一种数据中心综合管理系统的数据存储方法，包括如下步骤：创建用于数据存储的级联服务器系统；对输入的待存储数据进行分类，包括告警数据、实时数据和多媒体流数据；将分类后的数据通过分类并行方法存储至级联服务器系统，级联服务器系统由服务器根节点、多个Agent服务器节点以及多个叶子存储节点构成；数据的分类并行方法采用Unify Map Reduce分类并行存储方法，由Unify、Map和Reduce三个系统函数构成。本发明将数据通过数据处理接口统一纳入级联服务器系统，经过对数据进行有效分析、映射与合并，并采用分类并行方法存储，提升数据中心综合管理系统的数据存储效率和服务支撑能力。

Description

一种数据中心综合管理系统的数据存储方法

技术领域

本发明涉及数据中心技术领域，尤其一种数据中心综合管理系统的数据存储方法。

背景技术

模块化数据中心Module Data Center缩写为MDC，是基于云计算的新一代数据中心部署形式，模块化数据中心集成了供配电、制冷、机柜、气流遏制、综合布线、动环监控等子系统。通过将数据中心模块化，最大程度的降低基础设施对机房环境的耦合，提高数据中心的整体运营效率。

数据中心基础设施是云计算架构的核心，它提供给用户对包括CPU、内存、存储、网络等计算资源的使用，有效减轻了IT运维的成本和复杂性。云计算架构具有分布式、跨网络、资源种类多的特点，随之而来为资源管理方面带来了前所未有的挑战，相比于传统服务器集群架构，除了对Web服务器、应用服务器等物理资源的管理，还需要对CPU、内存、存储、网络、虚拟机等虚拟资源的统一管理。

数据中心的管理系统是数据中心内部配置的重要组成部分，主要包括UPS、配电柜、空调、门禁、传感器等多种监控对象，简称数据中心综合管理系统，核心设备硬件为动环监控主机，软件为数据中心综合管理系统平台软件。云计算、大数据等平台将计算、存储资源统一起来，跨越数据中心范围形成规模庞大、统一监控与管理的资源池，因此需要能够监控大规模、分布式、跨地域的虚拟资源与物理资源的统一监控系统。

目前，数据中心综合管理系统承载了越来越来的数据源压力，不仅数据种类多，数量也相当大，随着设备的信息源增多，数据采集存储频度也加大，带来的将是更海量的数据。面对不断增长的数据，传统的存储架构由于扩展性较差，长此以往，存储环境就会变得日益复杂，并造成了过高的能源消耗。

由于云存储系统以小图片流、小视频流等小文件数据为主要存储对象，但在数据中心，不仅需要对海量的图片流及视频流等数据进行反复的存取，还要采集声、光、热、电、化学、位置等各种信息，而不同类别的传感器与信息接收器所捕获的信息内容大不相同。对这些异构数据的存储，直接引用Map Reduce分布式处理框架方式，势必会大大的增加数据存取的延时性，降低存取效率，导致了其根本不能满足数据中心内异构数据的实时性存取要求。

目前数据中心综合管理系统功能仅限于监控实时数据和告警的上传，还没有达到对基础数据进行深入的统计、挖掘分析乃至据以反馈闭环控制的要求，设备监控颗粒度仍需加强细化，以便更早、更精确地发现设备备故障加以预警预判。Map Reduce编程模型最突出的缺点就是，其不能很好的适应实时信息应用服务的需求，对于数据中心内的异构数据而言，海量数据的异构性将更大大的加重了不同属性数据间的无效性检索，极大的降低数据访问的实时性，此缺点对于数据中心内异构数据的实时性存取要求，是一个影响存储效率的“瓶颈”。

如中国专利(申请公布号CN107066499A)公开了“一种面向异构存储多源数据管理及可视化系统的数据查询方法”，该系统包括存储层、服务层和应用层；所述存储层用于存储结构化数据和非结构化数据；所述服务层用于对存储数据进行抽取、加工、融合和抽象，将存储数据形成业务数据；所述应用层用于通过可视化技术对业务数据进行再组织形成特定场景使用的专用数据；对于异构数据源提供统一的访问接口，用户无需在多个数据库存储系统间导入导出数据，大大提高了异构数据源的维护效率，实现多源异构数据的一站式管理；通过可视化的方式，实现跨异构数据源的可视化连表查询，大大降低了连表查询的复杂度，实现异构数据源的重构。虽然该方法改善了异构数据的存储效率，但其效果仍然有限，且可扩展性较差。

发明内容

本发明提出一种数据中心综合管理系统的数据存储方法，用于解决现有的管理系统对数据存储效率较差的问题。

本发明通过以下技术方案予以实现：

一种数据中心综合管理系统的数据存储方法，包括如下步骤：

创建用于数据存储的级联服务器系统；

对输入的待存储数据进行分类，包括告警数据、实时数据和多媒体流数据；

将分类后的数据通过分类并行方法存储至级联服务器系统。

如上所述的一种数据中心综合管理系统的数据存储方法，所述级联服务器系统由服务器根节点、多个Agent服务器节点以及多个叶子存储节点构成，数据中心综合管理系统节点是服务器根根节点，用以监控整个系统运行状况以及处理数据中心的终端访问请求；Agent服务器节点是分支节点，用以对数据中心的终端进行业务处理和提供信息服务；叶子存储节点用于存储数据中心内所有的数据；所述Agent服务器节点控制叶子存储节点对数据的存取操作，并受服务器根节点的监管。

如上所述的一种数据中心综合管理系统的数据存储方法，所述数据中心的终端对数据的存取，经过服务器根节点的许可后再与Agent服务器节点进行交互。

如上所述的一种数据中心综合管理系统的数据存储方法，所述告警数据分类，包括告警管理、告警模板、告警衍生和告警过滤；所述实时数据分类，包括数据过滤、实时浏览、能耗分析和底层控制；所述视频流数据分类，包括由日志和资源管理构成的结构化数据、由设备日志和系统日志构成的半结构化数据、由音频和视频数据构成的非结构化数据。

如上所述的一种数据中心综合管理系统的数据存储方法，所述数据的分类并行方法采用Unify Map Reduce分类并行存储方法，由Unify函数、Map函数和Reduce函数三个系统函数构成；Unify函数首先接受一个终端数据流，产生一个初始的二维key/value pair值的数据流，通过一个系统哈希函数，将数据中心中的不同数据格式产生为一个三十二位哈希值，级联服务器系统把所有初始二维key/value pair值中具有相同初始key值I的valueI值聚合在同一个集合后传递给Map函数；

Map函数接受Unify函数产生的初始二维key/value pair值的value I值，然后再将此value I值映射为另一个二维的key/value pair值作为中间值，产生了一个过渡的二维key/value值集合，级联服务器系统把所有过渡的二维key/value值集合中具有相同中间值key II的value II值聚合在同一个集合后传递给Reduce函数；

Reduce函数接受一个过渡的二维key/value值集合的keyII及其相关的一个value值的集合，利用Reduce函数合并这些value值，形成一个较小的value值集合。

如上所述的一种数据中心综合管理系统的数据存储方法，所述Unify Map Reduce分类并行存储方法的过程如下：

(1)Master核心进程调用一个空闲的叶子存储节点服务进程通过Unify函数对数据中心终端的输入数据按数据格式的不同进行分类，生成有固定粒度大小的一个初始的二维key/value pair数据片段的集合，同时Master核心进程开启存储系统的流水线过程调用；

(2)Master核心进程再调用多个空闲的叶子存储节点服务进程通过Map函数对初始的二维key/value pair数据片段分配为多个Map任务并对value值进行中间值的映射；

(3)被分配了Map任务的叶子存储节点服务进程读取相关的初始二维输入数据片段，从输入的数据片段中解析出初始二维key/value pair中的value值value I，然后把value I值传递给自调用的Map函数，由Map函数生成并输出一个过渡的二维key/valuepair中间结果，并缓存在内存中；

(4)Master核心进程再调用多个空闲的叶子存储节点服务进程进行多个Reduce任务的分配，并且通过Reduce函数对过渡的二维key/value pair集合中间结果进行合并；

(5)被分配了Reduce任务的叶子存储节点服务器进程读取过渡的二维key/valuepair中间结果，解析出过渡二维值key/value中间结果中的value II值，然后把value II值传递给自调用的Reduce函数，进行合并前，先通过一个排序函数对key II值进行排序，可使得具有相同key II值的数据聚合在一起。因为许多不同的key II值会映射到同一个Reduce任务上，如果不进行排序，势必会造成Reduce任务处理效率的下降；

(6)接受Reduce任务的叶子存储节点服务进程遍历排序后的处理数据，对于每个唯一的过渡值key II，叶子存储节点服务器进程将对这个key II值的相关value II值集合进行合并，最终生成并输出一个三维的key I/key II/value值集合，缓存在内存中之后周期性的写入到本地磁盘上；

(7)当所有的Unify、Map和Reduce任务都完成之后，Master核心进程清理所有的叶子存储节点服务器的服务进程，此时，级联存储服务器系统的流水线过程调用返回，本次的异构数据流存储完毕。

如上所述的一种数据中心综合管理系统的数据存储方法，所述数据的分类并行方法设置有进程监测步骤，包括负荷探测、控制流分析、数据流分析，通过进程迁移把数据分类和存储计算转移至空闲的叶子服务器节点处理，用以以平衡负载。

如上所述的一种数据中心综合管理系统的数据存储方法，通过一个迭代器把过渡的二维中间value值提供给Reduce函数，用于处理无法全部放入内存中的大量value值集合，从而在级联服务器系统中形成一个三维的key/key/value值集合。

与现有技术相比，本发明的优点是：

1、本发明的数据存储方法，将数据通过数据处理接口统一纳入级联服务器系统，经过对数据进行有效分析、映射与合并，并采用分类并行方法存储，最终构建一个高效、稳定的数据中心综合管理系统的数据存储方法，满足数据中心综合管理系统数据存储需求，提升数据中心综合管理系统的数据存储效率和服务支撑能力。

2、不同于传统的存储系统，分布式云存储系统能够实现海量信息的存储，高效地管理庞大规模的文件，能够提供良好的查询效率。在数据中心综合管理系统中并不能直接引用Map Reduce分布式处理框架的思想，存储系统在借鉴Map Reduce分布式处理框架的思想对海量的异构数据流进行处理之前，需要先通过一个步骤对数据中心终端的异构数据根据不同的属性进行分类，这样可以避免大量的不同属性数据之间的不必要检索，将极大的提高异构数据的存取效率，获得更好的实时性。

3、本发明针对数据中心内海量数据的异构性与实时性特点，结合分布式云存储系统的架构性优势，在其基础上相较于数据中心异构数据实时存取特点，在多个数据中心对海量数据进行边缘化存储，更高效地为最终用户提供实时的并发访问服务。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍。

图1是本发明的流程示意图；

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

如图1所示，本实施例公开的一种数据中心综合管理系统的数据存储方法，包括如下步骤：

创建用于数据存储的级联服务器系统；

对输入的待存储数据进行分类，包括告警数据、实时数据和多媒体流数据；

将分类后的数据通过分类并行方法存储至级联服务器系统。

具体而言，本发明考虑了分布式计算、集群计算等计算模型对海量数据的处理方式，又全面的分析了云存储架构的优缺点，在此基础上结合数据中心内的异构数据实时存取的特点，提出了一种针对数据中心中海量数据进行有效存储的级联服务器系统。

级联服务器系统包括三种主要的硬件资源：服务器根节点、多个Agent服务器节点以及多个叶子存储节点，其中数据中心综合管理系统与Agent是两种类型的服务器节点。

数据中心综合管理系统节点是服务器根节点，负责监控整个系统运行状况，以及处理数据中心的终端访问请求的服务器节点；Agent服务器节点是分支节点，是直接对数据中心的终端进行业务处理与提供信息服务的服务器节点；叶子存储节点是整个系统结构中负责实际存储数据中心内所有的数据资源。

叶子存储节点只与Agent服务器节点交互，不与服务器根节点进行交流，而Agent服务器节点控制叶子存储节点的存取操作，并受数据中心综合管理系统服务器节点的监管。

每次数据中心终端对数据的存取，都首先访问服务器根节点，得到许可后，才可以与Agent服务器节点进行交互。针对服务节点工作负载的变化情况，服务器根节点可以动态的向集群中添加或者删除Agent服务器节点。

服务器根节点主要负责以下工作：监听数据中心客户端并处理其访问请求；监测Agent服务器节点的运行情况；为Agent服务器节点分配存取任务；以及对Agent服务器节点进行负载均衡。每个Agent服务器节点都管理着一组叶子存储节点，调用叶子存储节点进行读写操作。

在对数据流进行存取的时候，都不经过服务器根节点，终端用户直接与Agent服务器节点进行数据交互，因此，数据中心综合管理系统服务器节点只是对终端进行简单的访问请求响应，并不进行大量的数据流交互，以减轻服务器根节点的负载。

使用中，级联服务器系统的数据存储流程：

(1)服务器根节点监控整个数据存储中心，查明是否尚有空闲的存储空间，以决定是否响应监听的数据流接口中数据中心终端的数据存储请求；

(2)当服务器根节点响应一个数据中心终端的数据存储请求之后，服务器根节点在Agent服务器节点的服务池中的查找一个空闲Agent服务器节点；

(3)如果数据中心内有空闲的Agent节点，服务器根节点将此次的数据存储服务分配给他；否则，服务器根节点先创建一个新的Agent服务器节点，再调用新创建的Agent节点接受此次的数据存储服务；

(4)Agent服务器节点接受数据存储服务后，即开始与数据中心终端进行通信交流，首先获取此次存储数据的数据类型与数据源，然后遍历存储信息表，判断表内是否有此记录；

(5)如果无相关的数据记录，创建一个新的数据源行或数据类型列，否则直接进行处理；

(6)Agent服务器节点为本次的存储数据流分配一个存储空间，把存储空间的标识符附加上一个本次数据存储的时间戳，然后此记录添加到相应数据项的栈顶；

(7)Agent服务器节点调用一个叶子存储节点对数据流进行数据存储；

待存储数据进行分类，包括告警数据、实时数据和多媒体流数据，各类型数据说明如下：

告警数据:包括UPS停电告警、UPS故障、UPS转旁路等UPS设备告警信息，精密空调风机故障、压缩机故障、温度传感器故障等精密空调设备告警信息，精密配电柜开关分闸、开关合闸等精密配电柜告警信息，模块化数据中心环境高温、低温、高湿、低湿、烟雾告警、红外传感器告警等

实时数据：包括UPS电压、电流、功率、频率、电能等数据，精密空调送风温度、回风温度、回风湿度、压缩机状态等精密空调数据

多媒体流数据：包括模块化数据中心视频监控图像，音频监控数据等。

(1)告警数据：

1.定义告警管理，包括：局站名称(即模块化数据中心所处地点名称)、设备名称(即模块化数据中心里面的设备名称，如UPS1，精密空调2，精密配电柜3)、事件名称(如UPS1市电输入异常)、事件描述(如UPS1市电停电)、触发值(如UPS1市电电压值为90V)、录入注释(即管理员对此告警需要录入些备注信息)。

2.定义告警模板，包括：局站名称、设备类型(供配电类、环境类、安防类)、设备(指的是具体设备，如UPS，精密空调或精密配电柜等)、事件名称、事件是否确认(即管理员是否确认该告警，比如说管理员以及了解了该告警，估可以确认并关闭该告警)、事件是否结束。

3.定义告警衍生，多个同类型告警产生并满足一定条件(如市电停电了，这是UPS设备会报停电告警，精密配电柜也会报停电告警，精密空调也会报停电告警，那么管理平台通常就会收到很多同类型的告警，这时就需要发挥大数据处理平台的作用，通过告警关联的根原因分析)时，产生一条新的告警。衍生告警的产生逻辑：当告警单位时间内产生的数量(发生密度)达到1分钟中内10条告警，产生一条衍生告警，该告警的等级一般比原有告警等级高。当发生密度小于1分钟中内10条告警时，该告警结束。

5.定义告警过滤，多个告警通知产生时，选取一条告警做主要告警，主要告警是指影响模块化数据中心正常工作的告警，如市电停电、空调宕机，主要告警是由模块化数据中心管理员在大数据平台自行设定，其他告警作为次要告警，即告警级别低一些的告警，比如模块化数据中心刷卡进入，次要告警是由模块化数据中心管理员在大数据平台自行设定，避免主要告警被告警信息淹没。主次告警的运行逻辑为：当告警产生时，次要告警缓存一定时间后，等待主要告警产生，如果主要告警产生，则次要告警不显示只存库。如果到了一定时间未等到主要告警，则次要告警正常上送。

(2)实时数据：

1.定义数据过滤，提供过滤功能，从局站等级和事件等级两方面快速实现站点基本过滤功能；过滤功能从局站分组方式、局站分组、局站等级和局站四方面进行过滤显示。

2.定义实时浏览，可以实时查看被监控设备的运行数据。提供列表和图形、实时曲线等多种方式，用户可以任意选择查看局站、设备、设备类、局房中各信号的实时数据，对被监控设备的运行情况进行在线观察、监视。

3.定义能耗分析，充分挖掘数据中心综合管理系统采集和存储的电能数据，从而提升局站用电管理的科学性和前瞻性。同时，系统也对用电量异常数据进行全面的监测和分析，及时处理系统异常(例如：电表故障、数据统计异常等)，从而保障系统的长期稳定运行。

4.定义底层控制功能，第一次配置时需现场配置并写入相应逻辑控制程序，依托机房基站监控到的实时温湿度、空调运行状态、新风机状态等参数，通过逻辑程序对空调进行自行开关机及温度控制，其到节能目的。

(3)视频流数据：

1.结构化数据包括日志和资源管理，即模块化数据中中的各个设备。

2.半结构化数据包括设备日志和系统日志。

3.非结构化数据包括音频和视频数据，通常存储于数据库之外的数据称为非结构化数据unstructured data。将各种不同类型和格式的数据源进行存储。

分类后的数据通过分类并行方法存储，具体过程如下：

Unify Map Reduce分类并行存储方法由三个系统函数构成：Unify函数，Map函数和Reduce函数。其原理是：存储系统利用Unify函数将原始的数据中心内异构数据流分类为初始的二维key/value pair集合，再调用Map函数将初始的二维key/value pair集合的value数据映射为中间的二维key/value pair集合，然后通过Reduce函数将三维的key/key/value数据集合进行简化。

Unify Map Reduce分类并行存储方法定义的Unify函数首先接受一个终端数据流，产生一个初始的二维key/value pair值的数据流。通过一个系统哈希函数，将数据中心中的不同数据格式产生为一个三十二位哈希值，如视频，音频，图形，图片以及图像等数据格式均产生为不同的哈希值，作为初始二维key/value pair值中的key值key I。存储系统把所有初始二维key/value pair值中具有相同初始key I值的value I值聚合在同一个集合后传递给Map函数。

Unify Map Reduce分类并行存储方法定义的Map函数接受Unify函数产生的初始二维key/value pair值的value I值，然后再将此value I值映射为另一个二维的key/value pair值作为中间值，产生了一个过渡的二维key/value值集合。存储系统把所有过渡的二维key/value值集合中具有相同中间值key II的value II值聚合在同一个集合后传递给Reduce函数。

Unify Map Reduce分类并行存储方法定义的Reduce函数接受一个过渡的二维key/value值集合的key II及其相关的一个value值的集合。利用Reduce函数合并这些value值，形成一个较小的value值集合。

通常通过一个迭代器把过渡的二维中间value值提供给Reduce函数，以处理无法全部放入内存中的大量value值集合。最终，存储系统将会得到一个三维的key/key/value值集合。

分类并行方法采用了Master-Worker方法模型对外界的数据进行存取操作，其核心内容是：分布式存储方法由两种类型的工作进程组成，一个核心进程Master协调进程和多个处理进程Worker服务进程。核心进程负责监听客户进程的服务请求，并作出相应的响应，监管服务进程Worker的运行状况并做出相应的处理操作，服务进程负责与客户进程进行数据的直接交互操作。

分类并行方法存储涉及海量数据的存取，因而需要大量的计算。存储系统利用空闲的服务节点，通过进程迁移技术把负载转移过去，以平衡负载。

Master监测进程需要对Worker服务进程进行以下几个监测：

1.负荷探测：就是透过负荷进程探测的方式，在大规模的海量信息中，检索信息存取负荷最重的地方。很显然，只有对存取信息负荷最重的地方执行进程迁移，才更符合进程迁移的意义。

2.控制流分析：控制流分析能够从进程角度分析Unify Map Reduce编程模型中的的运算状态。只有找到了进程状态，才能够继续分析Unify Map Reduce编程模型中的各函数的依赖关系。

3.数据流分析：数据流分析判断数据存取过程中各个中间结果的依赖关系。只要数据存取过程中所有中间结果间接依赖的值都在函数体外部定义，即可以进行进程迁移。

Unify Map Reduce分类并行方法包括以下几个主要步骤：

(1)Master核心进程调用一个空闲的叶子存储节点服务进程通过Unify函数对数据中心终端的输入数据按数据格式的不同进行分类，生成有固定粒度大小的一个初始的二维key/value pair数据片段的集合，同时Master核心进程开启存储系统的流水线过程调用；

(2)Master核心进程再调用多个空闲的叶子存储节点服务进程通过Map函数对初始的二维key/value pair数据片段分配为多个Map任务并对value值进行中间值的映射；

(3)被分配了Map任务的叶子存储节点服务进程读取相关的初始二维输入数据片段，从输入的数据片段中解析出初始二维key/value pair中的value值value I，然后把value I值传递给自调用的Map函数，由Map函数生成并输出一个过渡的二维key/valuepair中间结果，并缓存在内存中；

(4)Master核心进程再调用多个空闲的叶子存储节点服务进程进行多个Reduce任务的分配，并且通过Reduce函数对过渡的二维key/value pair集合中间结果进行合并；

(5)被分配了Reduce任务的叶子存储节点服务器进程读取过渡的二维key/valuepair中间结果，解析出过渡二维值key/value中间结果中的value II值，然后把value II值传递给自调用的Reduce函数，进行合并前，先通过一个排序函数对key II值进行排序，可使得具有相同key II值的数据聚合在一起。因为许多不同的key II值会映射到同一个Reduce任务上，如果不进行排序，势必会造成Reduce任务处理效率的下降；

(6)接受Reduce任务的叶子存储节点服务进程遍历排序后的处理数据，对于每个唯一的过渡值key II，叶子存储节点服务器进程将对这个key II值的相关value II值集合进行合并，最终生成并输出一个三维的key I/key II/value值集合，缓存在内存中之后周期性的写入到本地磁盘上；

(7)当所有的Unify、Map和Reduce任务都完成之后，Master核心进程清理所有的叶子存储节点服务器的服务进程，此时，级联存储服务器系统的流水线过程调用返回，本次的异构数据流存储完毕。

在数据中心综合管理系统中并不能直接引用Map Reduce分布式处理方式，存储系统在借鉴Map Reduce分布式处理框架的思想对海量的异构数据流进行处理之前，需要先通过一个步骤对数据中心终端的异构数据根据不同的属性进行分类，这样可以避免大量的不同属性数据之间的不必要检索，将极大的提高异构数据的存取效率，获得更好的实时性。

针对数据中心内海量数据的异构性与实时性特点，结合分布式云存储系统的架构性优势，在其基础上相较于数据中心异构数据实时存取特点，在多个数据中心对海量数据进行边缘化存储，更高效地为最终用户提供实时的并发访问服务。

本发明未详尽描述的技术内容均为公知技术。

Claims (8)

1.一种数据中心综合管理系统的数据存储方法，其特征在于，包括如下步骤：

创建用于数据存储的级联服务器系统；

对输入的待存储数据进行分类，包括告警数据、实时数据和多媒体流数据；

将分类后的数据通过分类并行方法存储至级联服务器系统。

2.根据权利要求1所述的一种数据中心综合管理系统的数据存储方法，其特征在于，所述级联服务器系统由服务器根节点、多个Agent服务器节点以及多个叶子存储节点构成，数据中心综合管理系统节点是服务器根根节点，用以监控整个系统运行状况以及处理数据中心的终端访问请求；Agent服务器节点是分支节点，用以对数据中心的终端进行业务处理和提供信息服务；叶子存储节点用于存储数据中心内所有的数据；所述Agent服务器节点控制叶子存储节点对数据的存取操作，并受服务器根节点的监管。

3.根据权利要求2所述的一种数据中心综合管理系统的数据存储方法，其特征在于，所述数据中心的终端对数据的存取，经过服务器根节点的许可后再与Agent服务器节点进行交互。

4.根据权利要求1所述的一种数据中心综合管理系统的数据存储方法，其特征在于，所述告警数据分类，包括告警管理、告警模板、告警衍生和告警过滤；所述实时数据分类，包括数据过滤、实时浏览、能耗分析和底层控制；所述视频流数据分类，包括由日志和资源管理构成的结构化数据、由设备日志和系统日志构成的半结构化数据、由音频和视频数据构成的非结构化数据。

5.根据权利要求1所述的一种数据中心综合管理系统的数据存储方法，其特征在于，所述数据的分类并行方法采用Unify Map Reduce分类并行存储方法，由Unify函数、Map函数和Reduce函数三个系统函数构成；Unify函数首先接受一个终端数据流，产生一个初始的二维key/value pair值的数据流，通过一个系统哈希函数，将数据中心中的不同数据格式产生为一个三十二位哈希值，级联服务器系统把所有初始二维key/value pair值中具有相同初始key值I的value I值聚合在同一个集合后传递给Map函数；

Map函数接受Unify函数产生的初始二维key/value pair值的value I值，然后再将此value I值映射为另一个二维的key/value pair值作为中间值，产生了一个过渡的二维key/value值集合，级联服务器系统把所有过渡的二维key/value值集合中具有相同中间值key II的value II值聚合在同一个集合后传递给Reduce函数；

Reduce函数接受一个过渡的二维key/value值集合的keyII及其相关的一个value值的集合，利用Reduce函数合并这些value值，形成一个较小的value值集合。

6.根据权利要求5所述的一种数据中心综合管理系统的数据存储方法，其特征在于，所述Unify Map Reduce分类并行存储方法的过程如下：

(1)Master核心进程调用一个空闲的叶子节点服务进程通过Unify函数对数据中心终端的输入数据按数据格式的不同进行分类，生成有固定粒度大小的一个初始的二维key/value pair数据片段的集合，同时Master核心进程开启存储系统的流水线过程调用；

(2)Master核心进程再调用多个空闲的叶子节点服务进程通过Map函数对初始的二维key/value pair数据片段分配为多个Map任务并对value值进行中间值的映射；

(3)被分配了Map任务的叶子节点服务进程读取相关的初始二维输入数据片段，从输入的数据片段中解析出初始二维key/value pair中的value值value I，然后把value I值传递给自调用的Map函数，由Map函数生成并输出一个过渡的二维key/value pair中间结果，并缓存在内存中；

(4)Master核心进程再调用多个空闲的叶子节点服务进程进行多个Reduce任务的分配，并且通过Reduce函数对过渡的二维key/value pair集合中间结果进行合并；

(5)被分配了Reduce任务的叶子节点服务器进程读取过渡的二维key/value pair中间结果，解析出过渡二维值key/value中间结果中的value II值，然后把value II值传递给自调用的Reduce函数，进行合并前，先通过一个排序函数对key II值进行排序，可使得具有相同key II值的数据聚合在一起。因为许多不同的key II值会映射到同一个Reduce任务上，如果不进行排序，势必会造成Reduce任务处理效率的下降；

(6)接受Reduce任务的叶子节点服务进程遍历排序后的处理数据，对于每个唯一的过渡值key II，叶子节点服务器进程将对这个key II值的相关value II值集合进行合并，最终生成并输出一个三维的key I/key II/value值集合，缓存在内存中之后周期性的写入到本地磁盘上；

(7)当所有的Unify、Map和Reduce任务都完成之后，Master核心进程清理所有的叶子节点服务器的服务进程，此时，级联存储服务器系统的流水线过程调用返回，本次的异构数据流存储完毕。

7.根据权利要求5所述的一种数据中心综合管理系统的数据存储方法，其特征在于，所述数据的分类并行方法设置有进程监测步骤，包括负荷探测、控制流分析、数据流分析，通过进程迁移把数据分类和存储计算转移至空闲的叶子服务器节点处理，用以以平衡负载。

8.根据权利要求6所述的一种数据中心综合管理系统的数据存储方法，其特征在于，通过一个迭代器把过渡的二维中间value值提供给Reduce函数，用于处理无法全部放入内存中的多个value值集合，从而在级联服务器系统中形成一个三维的key/key/value值集合。