CN108304396A - 数据存储方法和装置 - Google Patents

Abstract

本申请公开了数据存储方法和装置。该方法的一具体实施方式包括：获取分布式文件系统的系统信息；建立与该分布式文件系统的连接；周期性地采集该分布式文件系统的系统运行数据，并将所采集的系统运行数据与该系统信息对应存储；建立与该分布式文件系统运行于其上的服务器集群中每个服务器的连接；周期性地采集该服务器集群中各个服务器的服务器运行数据，并将所采集的服务器运行数据与该系统信息对应存储。该实施方式实现了采集并存储分布式文件系统的系统运行数据和分布式文件系统运行于其上的服务器集群的服务器运行数据。

Description

数据存储方法和装置

技术领域

本申请涉及计算机技术领域，具体涉及互联网技术领域，尤其涉及数据存储方法和装置。

背景技术

目前大数据业务普遍采用分布式文件系统作为业务载体。大数据的所有业务都运行在分布式文件系统上，分布式文件系统是大数据业务的核心系统。分布式文件系统与传统系统的最大区别之一就是分布式文件系统不是运行在单台的服务器上，而是运行在由众多服务器组成的服务器集群上。分布式文件系统利用其分布式、跨平台式设计实现了对服务器集群的统一管理和使用。

为了确保分布式文件系统的正常运行，需要实时采集分布式文件系统的系统运行数据和分布式文件系统运行于其上的服务器集群的服务器运行数据，并将采集后的数据提供给对分布式文件系统进行管理或监控的第三方服务器，以供第三方服务器根据接收到的数据对分布式文件系统和分布式文件系统运行于其上的服务器集群进行管理或监控。

然而，现有技术中对分布式文件系统的系统运行数据进行采集的方法仅限于采集一指定分布式文件系统的系统运行数据，不能同时采集多个可根据用户需求定制的分布式文件系统的系统运行数据，而且所采集的系统运行数据中的系统运行参数的内容是固定的，不能根据用户的需求进行定制。从而使得第三方服务器不能同时监控多个分布式文件系统，以及不能灵活的定制采集的系统运行数据中系统运行参数的内容，从而降低了第三方服务器对分布式文件系统进行监控或管理的监控效率或管理效率。

发明内容

本申请的目的在于提出一种改进的数据存储方法和装置，来解决以上背景技术部分提到的技术问题。

第一方面，本申请提供了一种数据存储方法，该方法包括：获取分布式文件系统的系统信息；建立与上述分布式文件系统的连接；周期性地采集上述分布式文件系统的系统运行数据，并将所采集的系统运行数据与上述系统信息对应存储；建立与上述分布式文件系统运行于其上的服务器集群中每个服务器的连接；周期性地采集上述服务器集群中各个服务器的服务器运行数据，并将所采集的服务器运行数据与上述系统信息对应存储。

在一些实施例中，上述方法还包括：接收第三方服务器发来的数据查询请求，上述数据查询请求包括查询条件信息，上述查询条件信息包括待查询系统信息；查询与上述查询条件信息对应的系统运行数据和服务器运行数据；将查询到的系统运行数据和服务器运行数据发送给上述第三方服务器。

在一些实施例中，上述将查询到的系统运行数据和服务器运行数据发送给上述第三方服务器，包括：对查询到的系统运行数据和服务器运行数据进行去重复和排序处理，得到处理后的系统运行数据和服务器运行数据；将上述处理后的系统运行数据和服务器运行数据发送给上述第三方服务器。

在一些实施例中，上述建立与上述分布式文件系统的连接之后，上述方法还包括：获取上述分布式文件系统的预设系统运行参数；以及上述周期性地采集上述分布式文件系统的系统运行数据，包括：周期性地采集上述分布式文件系统的预设系统运行参数的参数值。

在一些实施例中，上述建立与上述分布式文件系统运行于其上的服务器集群中每个服务器的连接之后，上述方法还包括：获取上述分布式文件系统运行于其上的服务器集群的预设服务器运行参数；以及上述周期性地采集上述服务器集群中各个服务器的服务器运行数据，包括：周期性地采集上述服务器集群中各个服务器的预设服务器运行参数的参数值。

在一些实施例中，上述将所采集的系统运行数据与上述系统信息对应存储，包括：以所采集的系统运行数据的数据采集时间为索引，将上述系统信息、所采集的系统运行数据以及所采集的系统运行数据的数据采集时间对应存储至系统运行数据表中。

在一些实施例中，上述将所采集的服务器运行数据与上述系统信息对应存储，包括：以所采集的服务器运行数据的数据采集时间为索引，将上述系统信息、所采集的服务器运行数据以及所采集的服务器运行数据的数据采集时间对应存储至服务器运行数据表中。

第二方面，本申请提供了一种数据存储装置，该装置包括：信息获取单元，配置用于获取分布式文件系统的系统信息；第一连接建立单元，配置用于建立与上述分布式文件系统的连接；第一存储单元，配置用于周期性地采集上述分布式文件系统的系统运行数据，并将所采集的系统运行数据与上述系统信息对应存储；第二连接建立单元，配置用于建立与上述分布式文件系统运行于其上的服务器集群中每个服务器的连接；第二存储单元，配置用于周期性地采集上述服务器集群中各个服务器的服务器运行数据，并将所采集的服务器运行数据与上述系统信息对应存储。

在一些实施例中，上述装置还包括：接收单元，配置用于接收第三方服务器发来的数据查询请求，上述数据查询请求包括查询条件信息，上述查询条件信息包括待查询系统信息；查询单元，配置用于查询与上述查询条件信息对应的系统运行数据和服务器运行数据；发送单元，配置用于将查询到的系统运行数据和服务器运行数据发送给上述第三方服务器。

在一些实施例中，上述发送单元包括：处理模块，配置用于对查询到的系统运行数据和服务器运行数据进行去重复和排序处理，得到处理后的系统运行数据和服务器运行数据；发送模块，配置用于将上述处理后的系统运行数据和服务器运行数据发送给上述第三方服务器。

在一些实施例中，上述装置还包括：系统参数获取单元，配置用于获取上述分布式文件系统的预设系统运行参数；以及上述第一存储单元进一步配置用于：周期性地采集上述分布式文件系统的预设系统运行参数的参数值。

在一些实施例中，上述装置还包括：服务器参数获取单元，配置用于获取上述分布式文件系统运行于其上的服务器集群的预设服务器运行参数；以及上述第二存储单元进一步配置用于：周期性地采集上述服务器集群中各个服务器的预设服务器运行参数的参数值。

在一些实施例中，上述第一存储单元进一步配置用于：以所采集的系统运行数据的数据采集时间为索引，将上述系统信息、所采集的系统运行数据以及所采集的系统运行数据的数据采集时间对应存储至系统运行数据表中。

在一些实施例中，上述第二存储单元进一步配置用于：以所采集的服务器运行数据的数据采集时间为索引，将上述系统信息、所采集的服务器运行数据以及所采集的服务器运行数据的数据采集时间对应存储至服务器运行数据表中。

本申请提供的数据存储方法和装置，通过建立与分布式文件系统以及该分布式文件系统运行于其上的服务器集群的连接，继而采集并存储该分布式文件系统的系统运行数据和该分布式文件系统运行于其上的服务器集群的服务器运行数据，从而实现了采集并存储分布式文件系统的系统运行数据和分布式文件系统运行于其上的服务器集群的服务器运行数据。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请可以应用于其中的示例性系统架构图；

图2是根据本申请的数据存储方法的一个实施例的流程图；

图3是根据本申请的数据存储方法的一个应用场景的示意图；

图4是根据本申请的数据存储方法的又一个实施例的流程图；

图5是根据本申请的数据存储装置的一个实施例的结构示意图；

图6是适于用来实现本申请实施例的服务器的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用本申请的数据存储方法或数据存储装置的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括数据采集与存储服务器101，网络102，服务器集群103、104、105和第三方服务器106、107、108。服务器集群103上可以运行有分布式文件系统103’，并且可以包括服务器1031、1032、1033。服务器集群104上可以运行有分布式文件系统104’，并且可以包括服务器1041、1042、1043。服务器集群105上可以运行有分布式文件系统105’，并且可以包括服务器1051、1052、1053。网络102用以在数据采集与存储服务器101，服务器集群103、104、105和第三方服务器106、107、108之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

数据采集与存储服务器101可以通过网络102与分布式文件系统103’、104’、105’以及服务器集群103、104、105交互，以接收或发送消息等。数据采集与存储服务器101上可以安装有各种应用，例如数据采集类应用、数据存储类应用、数据处理类应用、数据查询类应用、数据库类应用等。

分布式文件系统103’、104’、105’可以实现将固定于某个地点的某个文件系统，扩展到任意多个地点/多个文件系统，众多的节点(例如，计算机)组成一个文件系统网络。每个节点可以分布在不同的地点，通过网络进行节点间的通信和数据传输。用户在使用分布式文件系统时，无需关心数据是存储在哪个节点上、或者是从哪个节点获取的，只需要像使用本地文件系统一样管理和存储文件系统中的数据。作为示例，分布式文件系统103’、104’、105’可以是HDFS(Hadoop分布式文件系统，Hadoop Distributed File System)。

第三方服务器106、107、108可以通过网络102与数据采集与存储服务器101交互，以接收或发送消息等。第三方服务器106、107、108上可以安装有各类应用，例如，数据查询类应用、分布式文件系统监控类应用、分布式文件系统管理类应用等。

数据采集与存储服务器101可以是提供各种服务的服务器。

例如，数据采集与存储服务器101可以分别建立与分布式文件系统103’、104’、105’的连接，然后周期性地采集分布式文件系统103’、104’、105’的系统运行数据，并将所采集的分布式文件系统103’、104’、105’的系统运行数据分别与分布式文件系统103’、104’、105’的系统信息对应存储；数据采集与存储服务器101也可以分别建立与服务器集群中103、104、105中每个服务器的连接，然后分别周期性地采集服务器集群中103、104、105中各个服务器的服务器运行数据，再将所采集的服务器集群103、104、105的服务器运行数据分别与分布式文件系统103’、104’、105’的系统信息对应存储。

例如，数据采集与存储服务器101还可以是对第三方服务器106、107、108上安装的分布式文件系统监控类应用或分布式文件系统管理类应用提供支持的服务器。数据采集与存储服务器101可以对第三方服务器106、107、108发来的数据查询请求进行处理，并将处理结果(例如系统运行数据和服务器运行数据)反馈给第三方服务器106、107、108，以使得第三方服务器106、107、108根据接收到的数据，对分布式文件系统和分布式文件系统运行于其上的服务器集群进行监控或管理。

需要说明的是，本申请实施例所提供的数据存储方法一般由数据采集与存储服务器101执行，相应地，数据存储装置一般设置于数据采集与存储服务器101中。

应该理解，图1中的数据采集与存储服务器、网络、服务器集群、服务器集群中服务器和第三方服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的数据采集与存储服务器、网络、服务器集群、服务器集群中服务器和第三方服务器。

继续参考图2，其示出了根据本申请的数据存储方法的一个实施例的流程200。该数据存储方法，包括以下步骤：

步骤201，获取分布式文件系统的系统信息。

在本实施例中，数据存储方法运行于其上的电子设备(例如图1所示的数据采集与存储服务器101)可以本地或者远程地获取分布式文件系统的系统信息。例如，上述电子设备可以通过本地读取上述电子设备中本地存储的指定系统信息配置文件中的系统信息来获取分布式文件系统的系统信息。又例如，上述电子设备也可以为用户提供用于输入分布式文件系统的系统信息的界面，并将用户输入的信息作为分布式文件系统的系统信息。

这里，分布式文件系统的系统信息可以是唯一标识各个分布式文件系统的信息。例如，系统信息可以是分布式文件系统的名称(例如，Hadoop系统1、Hadoop系统2、Hadoop系统3)，系统信息也可以是分布式文件系统的系统标识(例如，HDFS-1、HDFS-2、HDFS-3)。

步骤202，建立与分布式文件系统的连接。

在本实施例中，上述电子设备(例如图1所示的数据采集与存储服务器101)可以建立与步骤201中获取的系统信息所指示的分布式文件系统的连接。

下面仅以Hadoop分布式文件系统为例，说明建立与Hadoop分布式文件系统的连接的过程：

首先，上述电子设备可以在org.apache.Hadoop.ipc.Client.Connection.setupConnection()方法中执行代码NetUtils.connect(this.socket,server,20000)，这样上述电子设备就向Hadoop分布式文件系统的服务端发送了一个连接请求。

然后，Hadoop服务端在接收到上述电子设备发来的连接请求后，在Hadoop服务器端的org.apache.hadoop.ipc.Server.Listener类中的run()方法中处理上述连接请求。如果Hadoop服务端确认上述连接请求，则上述电子设备建立了与Hadoop分布式文件系统的连接。

步骤203，周期性地采集分布式文件系统的系统运行数据，并将所采集的系统运行数据与系统信息对应存储。

在本实施例中，上述电子设备可以在建立与分布式文件系统的连接之后，周期性地采集分布式文件系统的系统运行数据，并将所采集的系统运行数据与上述系统信息对应存储。

在本实施例中，分布式文件系统的系统运行数据是用于表征分布式文件系统运行的整体运行效果的数据。

作为示例，表1中列出了Hadoop分布式文件系统的部分系统运行数据的变量名称以及对应的数据含义：

变量名称	数据含义
		NameNodeRPC	NameNode响应时间
NameNodeMemoryUser	NameNode堆内存使用率
		NameNodeDiskUser	NameNode磁盘使用率
RMRPC	资源响应时间
		RMMemoryUser	资源堆内存使用率
RMDiskUser	资源磁盘使用率
		RMApplication	资源完成数量统计

表1

在本实施例的一些可选的实现方式中，上述电子设备可以周期性地采集分布式文件系统的所有系统运行参数的参数值，作为分布式文件系统的系统运行数据。

在本实施例的一些可选的实现方式中，上述电子设备也可以首先获取分布式文件系统的预设系统运行参数，然后周期性地采集分布式文件系统的预设系统运行参数的参数值作为分布式文件系统的系统运行数据。这里，分布式文件系统的预设系统运行参数可以为至少一个预设系统运行参数。

下面仅以Hadoop分布式文件系统为例，说明采集Hadoop分布式文件系统的系统运行数据的方法：

调用Hadoop系统提供的jobtracker.jsp中的JobTracker方法，并将预设系统运行参数作为输入参数传入此方法中，就可以获得预设系统运行参数对应的参数值。具体代码示例如下：

JobTracker tracker＝(JobTracker)application.getAttribute("job.tracker")；

在本实施例的一些可选的实现方式中，上述电子设备可以为上述分布式文件系统预先设置采集周期，例如，可以预先设置采集周期为60秒。这样，上述电子设备在周期性地采集分布式文件系统的系统运行数据时，就可以按照为该分布式文件系统预先设置的采集周期来采集分布式文件系统的系统运行数据。

下面仅以Hadoop分布式文件系统为例，说明设置Hadoop分布式文件系统的采集周期的方法：

采用定时器Timer类设置采集周期60秒，具体代码示例如下：

Timer timer＝new Timer(60)；

在本实施例中，上述电子设备可以采用各种实现方式将所采集的系统运行数据与系统信息对应存储。例如，上述电子设备可以将所采集的系统运行数据与系统信息对应存储在Excel电子表格或者关系型数据库中。

然而，由于分布式文件系统的系统运行数据所需存储空间巨大，并且后期在对分布式文件系统的系统运行数据进行查询时，查询所需时间也有可能很长，因此，在本实施例的一些可选的实现方式中，上述电子设备也可以以所采集的系统运行数据的数据采集时间为索引，将系统信息、所采集的系统运行数据以及所采集的系统运行数据的数据采集时间对应存储至系统运行数据表中。

在本实施例的一些可选的实现方式中，上述电子设备可以针对上述电子设备能够获取系统信息的至少一个分布式文件系统建立一张系统运行数据表，这样，可以将系统信息、所采集的系统运行数据以及所采集的系统运行数据的数据采集时间对应存储在系统运行数据表中。例如，可以以系统信息、所采集的系统运行数据和数据采集时间作为系统运行数据表的主键。

在本实施例的一些可选的实现方式中，上述电子设备也可以针对能够获取系统信息的至少一个分布式文件系统中每个分布式文件系统建立一张单独的系统运行数据表，这样，可以将所采集的系统运行数据以及所采集的系统运行数据的数据采集时间对应存储在与该分布式文件系统对应的系统运行数据表中。

作为示例，系统运行数据表可以是HBase中的数据表。

步骤204，建立与分布式文件系统运行于其上的服务器集群中每个服务器的连接。

在本实施例中，上述电子设备可以建立与分布式文件系统运行于其上的服务器集群中每个服务器的连接。

下面仅以Hadoop分布式文件系统为例，说明建立与Hadoop分布式文件系统运行于其上的服务器集群中每个服务器的连接的过程：

首先，获取服务器集群中各个服务器的IP地址、Root账号和Root密码。作为示例，上述电子设备可以从预先设置的服务器信息配置文件中读取服务器集群中各个服务器的IP地址、Root账号和Root密码。

然后，将所获取的每个服务器的IP地址、Root账号和Root密码，分别作为Device方法的输入参数，调用Device方法，从而建立与该服务器的连接。具体代码示例如下：

Device device＝new Device("127.0.0.1,name,password")；

步骤205，周期性地采集服务器集群中各个服务器的服务器运行数据，并将所采集的服务器运行数据与系统信息对应存储。

在本实施例中，上述电子设备可以在建立与该分布式文件系统运行于其上的服务器集群中每个服务器的连接之后，周期性地采集该服务器集群中各个服务器的服务器运行数据，并将所采集的服务器运行数据与该系统信息对应存储。

在本实施例中，服务器集群中各个服务器的服务器运行数据是用于表征服务器集群中的各个服务器个体的服务器基本信息以及各个服务器个体的运行效果的数据。

作为示例，表2中列出了Hadoop分布式文件系统的服务器集群中的服务器的部分服务器运行数据的变量名称以及对应的数据含义：

表2

在本实施例的一些可选的实现方式中，上述电子设备可以周期性地采集该服务器集群中各个服务器的所有服务器运行参数的参数值，作为该服务器集群中各个服务器的服务器运行数据。

在本实施例的一些可选的实现方式中，上述电子设备也可以首先获取该分布式文件系统运行于其上的服务器集群的预设服务器运行参数，然后周期性地采集该服务器集群中各个服务器的预设服务器运行参数的参数值，作为该服务器集群中各个服务器的服务器运行数据。这里，服务器集群的预设服务器运行参数可以为至少一个预设服务器运行参数。

表3中仅以支持简单网络管理协议(SNMP，Simple Network ManagementProtocol)的服务器集群为例，说明采集支持简单网络管理协议的服务器集群中各个服务器的表2中所示的各个服务器运行参数的参数值时所需调用的方法名称以及对应的功能：

表3

在本实施例的一些可选的实现方式中，上述电子设备可以为服务器集群预先设置采集周期，例如，可以预先设置采集周期为60秒。这样，上述电子设备在周期性地采集服务器集群中各个服务器的服务器运行数据时，就可以按照为该服务器集群预先设置的采集周期来采集该服务器集群中各个服务器的服务器运行数据。

下面仅以Hadoop分布式文件系统运行于其上的服务器集群为例，说明设置Hadoop分布式文件系统运行于其上的服务器集群的采集周期的方法：

采用定时器Timer类设置采集周期60秒，具体代码示例如下：

Timer timer＝new Timer(60)；

在本实施例中，上述电子设备可以采用各种实现方式将所采集的服务器运行数据与系统信息对应存储。例如，上述电子设备可以将所采集的服务器运行数据与系统信息对应存储在Excel电子表格或者关系型数据库中。

然而，由于每个服务器集群的服务器运行数据所需存储空间巨大，并且后期在对服务器集群的服务器运行数据进行查询时，查询所需时间也有可能很长，因此，在本实施例的一些可选的实现方式中，上述电子设备也可以以所采集的服务器运行数据的数据采集时间为索引，将系统信息、所采集的服务器运行数据以及所采集的服务器运行数据的数据采集时间存储至服务器运行数据表中。

在本实施例的一些可选的实现方式中，上述电子设备可以针对所有的服务器集群建立一张服务器运行数据表，这样，可以将系统信息、所采集的服务器运行数据以及所采集的服务器运行数据的数据采集时间对应存储在服务器运行数据表中。例如，可以以服务器IP地址、所采集的服务器运行数据和数据采集时间作为服务器运行数据表的主键。

在本实施例的一些可选的实现方式中，上述电子设备也可以针对每个服务器集群建立一张单独的服务器运行数据表，这样，可以将所采集的服务器运行数据以及所采集的服务器运行数据的数据采集时间对应存储在与该服务器集群对应的服务器运行数据表中。

作为示例，服务器运行数据表可以是HBase中的数据表。

需要说明的是，本申请实施例所提供的数据存储方法既可以按照图2所示的实施例中的步骤201、步骤202、步骤203、步骤204和步骤205的顺序执行，也可以按照步骤201、步骤204、步骤205、步骤202和步骤203的顺序执行，也就是说本申请实施例所提供的数据存储方法既可以先建立与分布式文件系统的连接并采集和存储该分布式文件系统的系统运行数据，再建立与分布式文件系统运行于其上的服务器集群中各个服务器的连接并采集该服务器集群中各个服务器的服务器运行数据，也可以先建立与分布式文件系统运行于其上的服务器集群中各个服务器的连接并采集和存储该服务器集群中各个服务器的服务器运行数据，再建立与分布式文件系统的连接并采集和存储该分布式文件系统的系统运行数据。

继续参见图3，图3是根据本实施例的数据存储方法的应用场景的一个示意图。在图3的应用场景中：

在步骤301中，数据采集和存储服务器获取分布式文件系统的系统信息；

在步骤302中，数据采集和存储服务器建立与分布式文件系统的连接；

在步骤303中，数据采集和存储服务器从分布式文件系统运行于其上的服务器集群中周期性地采集分布式文件系统的系统运行数据；

在步骤304中，数据采集和存储服务器将所采集的系统运行数据与系统信息对应存储；

在步骤305中，数据采集和存储服务器建立与服务器集群的连接；

在步骤306中，数据采集和存储服务器从服务器集群周期性地采集服务器集群中各个服务器的服务器运行数据；

在步骤307中，数据采集和存储服务器将所采集的服务器运行数据与系统信息对应存储。

这样，数据采集与存储服务器中持续地采集并存储了分布式文件系统的系统运行数据和服务器集群中各个服务器的服务器运行数据。

本申请的上述实施例提供的方法通过建立与分布式文件系统和分布式文件系统运行于其上的服务器集群中各个服务器的连接，从而采集并存储分布式文件系统的系统运行数据和服务器集群中各个服务器的服务器运行数据。

进一步参考图4，其示出了数据存储方法的又一个实施例的流程400。该数据存储方法的流程400，包括以下步骤：

步骤401，获取分布式文件系统的系统信息。

步骤402，建立与分布式文件系统的连接。

步骤403，周期性地采集分布式文件系统的系统运行数据，并将所采集的系统运行数据与系统信息对应存储。

步骤404，建立与分布式文件系统运行于其上的服务器集群中每个服务器的连接。

步骤405，周期性地采集服务器集群中各个服务器的服务器运行数据，并将所采集的服务器运行数据与系统信息对应存储。

在本实施例中，步骤401-步骤405的具体操作与图2所示的实施例中步骤201-步骤205的操作基本相同，在此不再赘述。

需要说明的是，在本实施例中，上述电子设备可以对不同的分布式文件系统分别执行步骤401到步骤405的操作，从而上述电子设备中可以存储有至少一个不同的分布式文件系统的系统运行数据和上述至少一个分布式文件系统中每个分布式文件系统运行于其上的服务器集群中各个服务器的服务器运行数据。

步骤406，接收第三方服务器发来的数据查询请求。

在本实施例中，上述电子设备可以接收第三方服务器发来的数据查询请求。

这里，第三方服务器可以是不同于上述电子设备和各个服务器集群中的各个服务器的服务器。第三方服务器可以向上述电子设备发出数据查询请求，并接收上述电子设备响应于接收到上述数据查询请求而查询得到的数据，再根据上述接收到的数据对与上述数据查询请求对应的分布式文件系统和服务器集群进行监控或管理。

在本实施例中，上述数据查询请求可以包括查询条件信息，上述查询条件信息可以包括待查询系统信息。

在本实施例的一些可选的实现方式中，上述查询条件信息还可以包括时间范围信息。作为示例，上述查询条件信息可以包括“系统标识＝HDFS-1”以及“时间范围＝最近一周内”。

步骤407，查询与查询条件信息对应的系统运行数据和服务器运行数据。

在本实施例中，上述电子设备可以在接收到第三方服务器发来的数据查询请求后，查询与查询条件信息对应的系统运行数据和服务器运行数据。

下面以关系型数据库为例，说明查询与查询条件信息对应的系统运行数据和服务器运行数据的过程：首先，上述电子设备可以根据查询条件信息生成SQL(结构化查询语言，Structured Query Language)语句，然后再查询与上述SQL语句对应的系统运行数据和服务器运行数据。

步骤408，将查询到的系统运行数据和服务器运行数据发送给第三方服务器。

在本实施例中，上述电子设备可以将步骤407中查询到的系统运行数据和服务器运行数据发送给上述第三方服务器。这样上述第三方服务器就可以根据接收到的数据，对与查询条件信息对应的分布式文件系统和服务器集群进行监控或管理。

在本实施例的一些可选的实现方式中，上述电子设备可以通过超文本传输协议(HTTP，Hyper Text Transfer Protocol)访问第三方服务器所提供的统一资源定位符(URL，Uniform Resource Locator)，向第三方服务器发送查询到的系统运行数据和服务器运行数据。

在本实施例的一些可选的实现方式中，上述电子设备可以将查询到的系统运行数据和服务器运行数据的原始数据直接发送给第三方服务器。

在本实施例的一些可选的实现方式中，上述电子设备也可以将查询到的系统运行数据和服务器运行数据的原始数据封装成JSON(JavaScript Object Notation，一种轻量级的数据交换格式)格式后再发送给第三方服务器。将查询到的系统运行数据和服务器运行数据的原始数据封装成JSON格式会有助于提升网络传输速率。

在本实施例的一些可选的实现方式中，步骤408可以包括如下子步骤4081和子步骤4082。

子步骤4081，对查询到的系统运行数据和服务器运行数据进行去重复和排序处理，得到处理后的系统运行数据和服务器运行数据。

下面以系统运行数据存储在HBase数据库中的系统运行数据表中为例，说明对查询到的系统运行数据进行去重复和排序处理的过程：

首先，在缓存中建立第一预设数目(例如1万)个哈希表，每个哈希表可以保存第二预设数目(例如1000万)条记录。

然后，对查询到的系统运行数据中每个系统运行数据，执行以下第一计算与插入操作：使用一致性哈希算法计算该系统运行数据的哈希值，根据计算所得的哈希值确定该系统运行数据对应的哈希表；在与该系统运行数据对应的哈希表中查询该系统运行数据是否存在，如果不存在，将该系统运行数据插入该哈希表，如果存在，则继续对下一个系统运行数据执行上述第一计算与插入操作，直到遍历了查询到的系统运行数据中的每个系统运行数据。

最后，对上述第一预设数目个哈希表中的所有系统运行数据进行排序，从而得到处理后的系统运行数据。

下面再以服务器运行数据存储在HBase数据库中的服务器运行数据表中为例，说明对查询到的服务器运行数据进行去重复和排序处理的过程：

首先，在缓存中建立第三预设数目(例如1万)个哈希表，每个哈希表可以保存第四预设数目(例如1000万)条记录。

然后，对查询到的服务器运行数据中每个服务器运行数据，执行以下第二计算与插入操作：使用一致性哈希算法计算该服务器运行数据的哈希值，根据计算所得的哈希值确定该服务器运行数据对应的哈希表；在与该服务器运行数据对应的哈希表中查询该服务器运行数据是否存在，如果不存在，将该服务器运行数据插入该哈希表，如果存在，则继续对下一个服务器运行数据执行上述第二计算与插入操作，直到遍历了查询到的服务器运行数据中的每个服务器运行数据。

最后，对上述第三预设数目个哈希表中的所有服务器运行数据进行排序，从而得到处理后的服务器运行数据。

子步骤4082，将处理后的系统运行数据和服务器运行数据发送给第三方服务器。

从图4中可以看出，与图2对应的实施例相比，本实施例中的数据存储方法的流程400多出了对第三方服务器发来的数据查询请求进行处理并将处理后得到的系统运行数据和服务器运行数据发送给上述第三方服务器的步骤。由此，本实施例描述的方案可以实现为第三方服务器提供分布式文件系统的系统运行数据和服务器集群的服务器运行数据，并且第三方服务器可以获得至少一个分布式文件系统的系统运行数据和服务器运行数据，从而使得第三方服务器可以实现对多个分布式文件系统的系统运行数据和服务器运行数据综合监控或综合管理，避免了信息单一性可能造成的管理或监控的决策片面性，提高了第三方服务器进行监控或管理的效率。

进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种数据存储装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图5所示，本实施例中的数据存储装置500包括：信息获取单元501、第一连接建立单元502、第一存储单元503、第二连接建立单元504和第二存储单元505。其中，信息获取单元501，配置用于获取分布式文件系统的系统信息；第一连接建立单元502，配置用于建立与上述分布式文件系统的连接；第一存储单元503，配置用于周期性地采集上述分布式文件系统的系统运行数据，并将所采集的系统运行数据与上述系统信息对应存储；第二连接建立单元504，配置用于建立与上述分布式文件系统运行于其上的服务器集群中每个服务器的连接；第二存储单元505，配置用于周期性地采集上述服务器集群中各个服务器的服务器运行数据，并将所采集的服务器运行数据与上述系统信息对应存储。

在本实施例中，数据存储装置500的信息获取单元501、第一连接建立单元502、第一存储单元503、第二连接建立单元504和第二存储单元505的具体处理及其所带来的技术效果可分别参考图2对应实施例中步骤201、步骤202、步骤203、步骤204和步骤205的相关说明，在此不再赘述。

本实施例的一些可选的实现方式中，上述数据存储装置500还可以包括：接收单元506，配置用于接收第三方服务器发来的数据查询请求，上述数据查询请求包括查询条件信息，上述查询条件信息包括待查询系统信息；查询单元507，配置用于查询与上述查询条件信息对应的系统运行数据和服务器运行数据；发送单元508，配置用于将查询到的系统运行数据和服务器运行数据发送给上述第三方服务器。接收单元506、查询单元507和发送单元508的具体处理及其所带来的技术效果可分别参考图4对应实施例中步骤406、步骤407和步骤408的相关说明，在此不再赘述。

本实施例的一些可选的实现方式中，上述发送单元508可以包括：处理模块5081，配置用于对查询到的系统运行数据和服务器运行数据进行去重复和排序处理，得到处理后的系统运行数据和服务器运行数据；发送模块5082，配置用于将上述处理后的系统运行数据和服务器运行数据发送给上述第三方服务器。处理模块5081和发送模块5082的具体处理及其所带来的技术效果可参考图4对应实施例中步骤408的相关说明，在此不再赘述。

本实施例的一些可选的实现方式中，上述数据存储装置500还可以包括：系统参数获取单元502’，配置用于获取上述分布式文件系统的预设系统运行参数；以及上述第一存储单元503可以进一步配置用于：周期性地采集上述分布式文件系统的预设系统运行参数的参数值。系统参数获取单元502’的具体处理及其所带来的技术效果可参考图2对应实施例中步骤203的相关说明，在此不再赘述。

本实施例的一些可选的实现方式中，上述数据存储装置500还可以包括：服务器参数获取单元504’，配置用于获取上述分布式文件系统运行于其上的服务器集群的预设服务器运行参数；以及上述第二存储单元505可以进一步配置用于：周期性地采集上述服务器集群中各个服务器的预设服务器运行参数的参数值。服务器参数获取单元504’的具体处理及其所带来的技术效果可参考图2对应实施例中步骤205的相关说明，在此不再赘述。

本实施例的一些可选的实现方式中，上述第一存储单元503可以进一步配置用于：以所采集的系统运行数据的数据采集时间为索引，将上述系统信息、所采集的系统运行数据以及所采集的系统运行数据的数据采集时间对应存储至系统运行数据表中。第一存储单元503的具体处理及其所带来的技术效果可参考图2对应实施例中步骤203的相关说明，在此不再赘述。

本实施例的一些可选的实现方式中，上述第二存储单元505可以进一步配置用于：以所采集的服务器运行数据的数据采集时间为索引，将上述系统信息、所采集的服务器运行数据以及所采集的服务器运行数据的数据采集时间对应存储至服务器运行数据表中。第二存储单元505的具体处理及其所带来的技术效果可参考图2对应实施例中步骤205的相关说明，在此不再赘述。

下面参考图6，其示出了适于用来实现本申请实施例的服务器的计算机系统600的结构示意图。

如图6所示，计算机系统600包括中央处理单元(CPU，Central Processing Unit)601，其可以根据存储在只读存储器(ROM，Read Only Memory)602中的程序或者从存储部分606加载到随机访问存储器(RAM，Random Access Memory)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM602以及RAM 603通过总线604彼此相连。输入/输出(I/O，Input/Output)接口605也连接至总线604。

以下部件连接至I/O接口605：包括硬盘等的存储部分606；以及包括诸如LAN(局域网，Local Area Network)卡、调制解调器等的网络接口卡的通信部分607。通信部分607经由诸如因特网的网络执行通信处理。驱动器608也根据需要连接至I/O接口605。可拆卸介质609，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器608上，以便于从其上读出的计算机程序根据需要被安装入存储部分606。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，上述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分607从网络上被下载和安装，和/或从可拆卸介质609被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的方法中限定的上述功能。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括信息获取单元、第一连接建立单元、第一存储单元、第二连接建立单元和第二存储单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，信息获取单元还可以被描述为“获取系统信息的单元”。

作为另一方面，本申请还提供了一种非易失性计算机存储介质，该非易失性计算机存储介质可以是上述实施例中上述装置中所包含的非易失性计算机存储介质；也可以是单独存在，未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序，当上述一个或者多个程序被一个设备执行时，使得上述设备：获取分布式文件系统的系统信息；建立与上述分布式文件系统的连接；周期性地采集上述分布式文件系统的系统运行数据，并将所采集的系统运行数据与上述系统信息对应存储；建立与上述分布式文件系统运行于其上的服务器集群中每个服务器的连接；周期性地采集上述服务器集群中各个服务器的服务器运行数据，并将所采集的服务器运行数据与上述系统信息对应存储。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (14)

1.一种数据存储方法，其特征在于，所述方法包括：

获取分布式文件系统的系统信息；

建立与所述分布式文件系统的连接；

周期性地采集所述分布式文件系统的系统运行数据，并将所采集的系统运行数据与所述系统信息对应存储；

建立与所述分布式文件系统运行于其上的服务器集群中每个服务器的连接；

周期性地采集所述服务器集群中各个服务器的服务器运行数据，并将所采集的服务器运行数据与所述系统信息对应存储。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收第三方服务器发来的数据查询请求，所述数据查询请求包括查询条件信息，所述查询条件信息包括待查询系统信息；

查询与所述查询条件信息对应的系统运行数据和服务器运行数据；

将查询到的系统运行数据和服务器运行数据发送给所述第三方服务器。

3.根据权利要求2所述的方法，其特征在于，所述将查询到的系统运行数据和服务器运行数据发送给所述第三方服务器，包括：

对查询到的系统运行数据和服务器运行数据进行去重复和排序处理，得到处理后的系统运行数据和服务器运行数据；

将所述处理后的系统运行数据和服务器运行数据发送给所述第三方服务器。

4.根据权利要求1-3中任一所述的方法，其特征在于，所述建立与所述分布式文件系统的连接之后，所述方法还包括：

获取所述分布式文件系统的预设系统运行参数；以及

所述周期性地采集所述分布式文件系统的系统运行数据，包括：

周期性地采集所述分布式文件系统的预设系统运行参数的参数值。

5.根据权利要求4所述的方法，其特征在于，所述建立与所述分布式文件系统运行于其上的服务器集群中每个服务器的连接之后，所述方法还包括：

获取所述分布式文件系统运行于其上的服务器集群的预设服务器运行参数；以及

所述周期性地采集所述服务器集群中各个服务器的服务器运行数据，包括：

周期性地采集所述服务器集群中各个服务器的预设服务器运行参数的参数值。

6.根据权利要求1所述的方法，其特征在于，所述将所采集的系统运行数据与所述系统信息对应存储，包括：

以所采集的系统运行数据的数据采集时间为索引，将所述系统信息、所采集的系统运行数据以及所采集的系统运行数据的数据采集时间对应存储至系统运行数据表中。

7.根据权利要求1所述的方法，其特征在于，所述将所采集的服务器运行数据与所述系统信息对应存储，包括：

以所采集的服务器运行数据的数据采集时间为索引，将所述系统信息、所采集的服务器运行数据以及所采集的服务器运行数据的数据采集时间对应存储至服务器运行数据表中。

8.一种数据存储装置，其特征在于，所述装置包括：

信息获取单元，配置用于获取分布式文件系统的系统信息；

第一连接建立单元，配置用于建立与所述分布式文件系统的连接；

第一存储单元，配置用于周期性地采集所述分布式文件系统的系统运行数据，并将所采集的系统运行数据与所述系统信息对应存储；

第二连接建立单元，配置用于建立与所述分布式文件系统运行于其上的服务器集群中每个服务器的连接；

第二存储单元，配置用于周期性地采集所述服务器集群中各个服务器的服务器运行数据，并将所采集的服务器运行数据与所述系统信息对应存储。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

接收单元，配置用于接收第三方服务器发来的数据查询请求，所述数据查询请求包括查询条件信息，所述查询条件信息包括待查询系统信息；

查询单元，配置用于查询与所述查询条件信息对应的系统运行数据和服务器运行数据；

发送单元，配置用于将查询到的系统运行数据和服务器运行数据发送给所述第三方服务器。

10.根据权利要求9所述的装置，其特征在于，所述发送单元包括：

处理模块，配置用于对查询到的系统运行数据和服务器运行数据进行去重复和排序处理，得到处理后的系统运行数据和服务器运行数据；

发送模块，配置用于将所述处理后的系统运行数据和服务器运行数据发送给所述第三方服务器。

11.根据权利要求8-10中任一所述的装置，其特征在于，所述装置还包括：

系统参数获取单元，配置用于获取所述分布式文件系统的预设系统运行参数；以及

所述第一存储单元进一步配置用于：

周期性地采集所述分布式文件系统的预设系统运行参数的参数值。

12.根据权利要求11所述的装置，其特征在于，所述装置还包括：

服务器参数获取单元，配置用于获取所述分布式文件系统运行于其上的服务器集群的预设服务器运行参数；以及

所述第二存储单元进一步配置用于：

周期性地采集所述服务器集群中各个服务器的预设服务器运行参数的参数值。

13.根据权利要求8所述的装置，其特征在于，所述第一存储单元进一步配置用于：

以所采集的系统运行数据的数据采集时间为索引，将所述系统信息、所采集的系统运行数据以及所采集的系统运行数据的数据采集时间对应存储至系统运行数据表中。

14.根据权利要求8所述的装置，其特征在于，所述第二存储单元进一步配置用于：

以所采集的服务器运行数据的数据采集时间为索引，将所述系统信息、所采集的服务器运行数据以及所采集的服务器运行数据的数据采集时间对应存储至服务器运行数据表中。