CN102130759A - 一种数据采集方法、数据采集机集群及数据采集机 - Google Patents

Abstract

本发明提供一种数据采集方法、数据采集机集群及数据采集机，属于通信技术领域，该方法应用于数据采集机集群中，该方法包括：数据采集机集群中的第一数据采集机进行数据采集，并将采集的数据存储到所述数据采集机集群的分布式文件系统中；当第一数据采集机发生故障时，由数据采集机集群中的第二数据采集机替换第一数据采集机进行数据采集，第二数据采集机采集的数据存储到数据采集机集群的分布式文件系统中，能够有效保证采集数据的完整性。

Description

一种数据采集方法、数据采集机集群及数据采集机

技术领域

本发明属于通信技术领域，尤其涉及一种数据采集方法、数据采集机集群及数据采集机。

背景技术

现有的数据采集方式分为主动采集和被动接收，其中，主动采集是指数据采集机定期主动地从被采装置或系统收集信息；被动接收是指被采装置或系统定期或实时将信息发送到数据采集机，由数据采集机接收并进行相应处理。

目前，数据采集的种类及其技术方案如下：

1)性能数据的采集，数据采集方式：主动采集，采集机性能采集器定期向被管设备发出snmp(简单网络管理协议)请求，请求设备给出CPU(中央处理器)和内存的利用率的指标，设备收到snmp请求之后，收集指标并将指标回传性能采集机。

2)告警数据采集，告警数据采集方式主要有两种：被动接收和主动轮询，其中主动轮询是采集机通过主动发起探测，如按照网元可达性、性能阀值策略指定内容进行触发告警备注。

3)流量数据采集，流量数据采集方式与流量采集和告警采集类似，也是属于被动接收。流量采集机被动接收核心路由器发送过来的数据包，收到数据包之后以文件形式进行上传。

4)业务数据采集，业务数据主要是指业务系统的性能数据，采集上来用作业务报表分析，业务数据的种类很多，对应的采集方式也不定，主要为：文件接口：业务数据定期生成文本文件，采集机定时FTP(文件传输协议)获取；数据库接口：这种方式业务数据存在数据库表里，设备厂商提供相应的访问权限，采集机去数据库读取snmp接口。

在现有技术中，数据采集机的可靠性非常重要，数据采集机的可靠性关系到采集数据的完整性。可靠的数据采集机和系统能够减少人工检查数据完备性的工作量，能促进被采集(管理)装置或系统的运行质量的改善。

然而，由于目前的数据采集机本身是不可靠的，当数据采集机发生故障时，将会造成数据采集系统的中断，虽然采用补采等方式能够尽可能实现性能数据完整性，但对于实时的告警、状态数据等无法保证完整性。

发明内容

为了解决上述问题，本发明的目的是提供一种数据采集方法、数据采集机集群及数据采集机，能够有效保证采集数据的完整性。

为了达到上述目的，本发明提供一种数据采集方法，应用于数据采集机集群中，所述数据采集机集群中包括至少两个数据采集机，所述方法包括：

步骤A、所述数据采集机集群中的第一数据采集机进行数据采集，并将采集的数据存储到所述数据采集机集群的分布式文件系统中；

步骤B、当所述第一数据采集机发生故障时，由所述数据采集机集群中的第二数据采集机替换所述第一数据采集机进行数据采集，所述第二数据采集机采集的数据存储到所述数据采集机集群的分布式文件系统中。

优选的，所述第一数据采集机和所述第二数据采集机通过网络进行互联，作为云计算平台节点。

优选的，在所述步骤A之前，所述方法还包括：

将所述数据采集机集群中的所述第一数据采集机设置为主数据采集机；

将所述数据采集机集群中的第二数据采集机设置为备用数据采集机。

优选的，所述步骤B之后，所述方法还包括：

步骤C、在所述第一数据采集机发生故障时，所述第一数据采集机发送故障告警信息。

优选的，所述步骤C之后，所述方法还包括：

对所述第一数据采集机进行故障修复；

将所述第二数据采集机设置为主数据采集机，将所述第一数据采集机设置为备用数据采集机。

本发明还提供一种数据采集机集群，包括：

第一数据采集机，用于进行数据采集，并将采集的数据存储到所述数据采集机集群的分布式文件系统中；

第二数据采集机，用于当所述第一数据采集机发生故障时，替换所述第一数据采集机进行数据采集，并将采集的数据存储到所述数据采集机集群的分布式文件系统中。

优选的，所述第一数据采集机包括：

数据采集模块，用于进行数据采集，并将采集的数据存储到分布式文件系统中；

故障检测模块，用于检测是否发生故障，若是，触发所述第二数据采集机中的数据采集模块进行数据采集。

优选的，所述第一数据采集机和所述第二数据采集机通过网络进行互联，作为云计算平台节点。

本发明还提供一种数据采集机，包括：

数据采集模块，用于进行数据采集，并将采集的数据存储到分布式文件系统中；

故障检测模块，用于检测是否发生故障，若是，触发其他数据采集机的数据采集模块进行数据采集。

优选的，还包括：

配置模块，与所述数据采集模块连接，用于配置数据采集机的数据采集方式。

优选的，所述数据采集机还包括：

故障告警模块，与所述故障检测模块连接，用于在所述数据采集机发生故障时，发送故障告警信息。

由上述技术方案可知，通过在数据采集机集群中设置主数据采集机和备用数据采集机，由主数据采集机进行数据采集，并将采集的数据存储到数据采集机集群的分布式文件系统中。当主数据采集机发生故障时，由备用数据采集机替换主数据采集机的数据采集任务，将备用数据采集机采集的数据存储到采集机集群的分布式文件系统中，避免了现有技术中因数据采集机发生故障，而影响采集数据完整性的缺陷，由于在分布式文件系统中每个文件都有多个备份，因此本发明的技术方案能够为采集数据提供可靠的保证支持，提高了数据采集过程的可靠性。

附图说明

图1为本发明的实施例中数据采集方法的流程图；

图2为本发明的实施例中数据采集机集群的结构示意图；

图3为本发明的实施例中数据采集机的结构示意图。

具体实施方式

在本实施例中，通过在数据采集机集群中设置主数据采集机和备用数据采集机，由主数据采集机进行数据采集，并将采集的数据存储到数据采集机集群的分布式文件系统中。当主数据采集机发生故障时，由备用数据采集机替换主数据采集机进行数据采集，备用数据采集机采集的数据也存储到采集机集群的分布式文件系统中。

为了使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明实施例做进一步详细地说明。在此，本发明的示意性实施例及说明用于解释本发明，但并不作为对本发明的限定。

参见图1，为本发明的实施例中数据采集方法的流程图，该数据采集方法应用于数据采集集群中，该数据采集集群中包括至少两个数据采集机，具体步骤如下：

步骤101、将数据采集机集群中的第一数据采集机设置为主数据采集机，将数据采集机集群中的第二数据采集机设置为备用数据采集机；

在本实施例中，数据采集机可通过具有数据采集功能的PC服务器来实现，通过网络将多台PC服务器互联，由此可建立数据采集机集群。在该数据采集机集群中包括至少两台PC服务器。下面以该数据采集机集群中包括第一数据采集机和第二数据采集机为例来介绍本方法流程，其他情况于此类似。

在本实施例中，数据采集机集群中的数据采集机可以主备复用方式进行部署，也就是同时在数据采集机集群中部署主数据采集机和备用数据采集机，例如将数据采集机集群中的第一数据采集机设置为主数据采集机，将数据采集机集群中的第二数据采集机设置为备用数据采集机，也就是通常使用第一数据采集机进行数据采集，而第二数据采集机作为备用数据采集机。当第一数据采集机发生故障时，可由第二数据采集机接管第一数据采集机，继续原数据采集任务。当然，主数据采集机和备用数据采集机并不需要一一对应，例如当主数据采集机发生故障时，可从多台备用数据采集机中随机选取一台备用数据采集机，来替换发生故障的主数据采集机。

上述数据采集机可作为云计算平台节点，该云计算平台是指将多个数据采集机通过网络进行互联，由该数据采集机形成数据采集层，例如，将第一数据采集机和第二数据采集机通过网络进行互联，作为云计算平台节点。该云计算平台上可安装云计算基础软件，例如分布式文件系统。由于分布式文件系统中存储的数据文件具有多副本机制，也就是每个文件在分布式文件系统上有多个备份，且可分布在不同的数据采集机上，如果某个数据采集机发生故障，其他数据采集机上的副本依然可以支持外界的访问。

在本实施例中，该分布式文件系统可以独立应用层软件的形式嵌入到数据采集机中，当然也可通过提供标准访问接口与数据采集机建立连接，例如该分布式文件系统可通过FUSE方式挂载到数据采集机上，并提供POSIX标准文件访问接口供数据采集机访问。通过该分布式文件系统，有效保证了采集数据的高可用性。

步骤102、设置第一数据采集机和第二数据采集机的数据采集方式；

在本实施例中，第一数据采集机和第二数据采集机采集数据的方式可以是主动采集或被动采集。其中，主动采集是指数据采集机定期主动地从被采装置或系统收集数据；被动接收是指被采装置或系统定期或实时将信息发送到数据采集机，由数据采集机接收并进行相应处理。

主动采集和被动采集是数据采集机预先设置好的采集策略，可根据具体的数据采集机来选用具体的数据采集方式。例如可以用FTP(文件传输协议)或HTTP(超文件传输协议)协议进行数据采集，也可建立SOCKET(用于在两个基于TCP/IP协议的应用程序之间相互通信)连接后，再进行数据采集。

步骤103、数据采集机集群中的第一数据采集机进行数据采集，并将采集的数据存储到数据采集机集群的分布式文件系统中；

也就是，第一数据采集机通过采用步骤102配置的数据采集方式进行数据采集，并将采集的数据存储到数据采集机集群的分布式文件系统中，由于每个文件在分布式文件系统上有多个备份，且分布在不同的数据采集机上，如果某个数据采集机发生故障，其他数据采集机上的文件副本依然可以支持外界的访问，不会影响采集数据的完整性。

步骤104、判断数据采集机集群中第一数据采集机是否发生故障？若是，执行步骤105；否则，返回步骤103；

在本实施例中，当作为主数据采集机的第一数据采集机出现故障时，作为备用数据采集机的第二数据采集机可以通过预先设定的方式得到通知，并被激活。

上述数据采集机的故障包括：硬件故障和软件故障，其中硬件故障可以是器件的损坏或电源掉电；软件故障可以是任何引起数据采集功能异常的软件层面的故障。

步骤105、由数据采集机集群中的第二数据采集机替换第一数据采集机进行数据采集，并将第二数据采集机采集的数据存储到数据采集机集群的分布式文件系统中；

也就是，当作为主数据采集机的第一数据采集机发生故障时，作为备用数据采集机的第二数据采集机启动接管第一数据采集机的数据采集任务，继续原数据采集任务，并将采集到的数据存储到数据采集机集群的分布式文件系统中。

在本实施例中，当第一数据采集机发生故障时，第二数据采集机可通过IP(Internet Protocol)地址替换的方式来接管第一数据采集机的数据采集任务，当然第二数据采集机接管第一数据采集机的数据采集任务的方式并不限于此。

步骤106、在数据采集机发生故障时，第一数据采集机发送故障告警信息；

在本实施例中，当第一数据采集机的硬件或软件发生故障时，该第一数据采集机可发送一故障告警信息，以提醒相关人员对该第一数据采集机进行修复。

该故障告警信息可以是文字、语音、振动、铃声和声光告警中的任意一种形式，在本实施例中并不限定故障告警信息的具体形式。

步骤107、对第一数据采集机进行故障修复，并将第一数据采集机设置为备用数据采集机。

当第一数据采集机的故障被修复后，可将第一数据采集机设置为备用数据采集机，将第二数据采集机设置为主数据采集机，此时由第二数据采集机进行数据采集，并将采集的数据存储到分布式文件系统中。若第二数据采集机发生故障时，可由作为备用数据采集机的第一数据采集机替换第二数据采集机进行数据采集。

由上述技术方案可知，通过在数据采集机集群中设置了主数据采集机和备用数据采集机，首先主数据采集机进行数据采集，并将采集的数据存储到数据采集机集群的分布式文件系统中，当主数据采集机发生故障时，则由备用数据采集机替换主数据采集机进行数据采集，并将备用数据采集机采集的数据存储到采集机集群的分布式文件系统中，从而避免了现有技术中因数据采集机发生故障，而影响采集数据完整性，由于在分布式文件系统中每个文件都有多个备份，能够为采集数据提供可靠的保持支持，从而提高了数据采集过程的可靠性。

参见图2，为本发明的实施例中数据采集机集群的结构示意图，由图中可知，该数据采集机集群中包括至少两个数据采集机，该数据采集机可以主备复用的方式部署在采集机集群中，例如第一数据采集机为主数据采集机，第二数据采集机为备用数据采集机，其中

第一数据采集机，用于进行数据采集，并将采集的数据存储到所述数据采集机集群的分布式文件系统中；

第二数据采集机，用于当所述第一数据采集机发生故障时，替换所述第一数据采集机进行数据采集，并将采集的数据存储到所述数据采集机集群的分布式文件系统中。

上述第一数据采集机和第二数据采集机可通过网络进行互联，作为云计算平台节点。

参见图2，在数据采集机集群中有多个以主备复用方式部署的数据采集机，例如作为主数据采集机的第一数据采集机，以及作为备用数据采集机的第二数据采集机，其中第一数据采集机通过主动/被动采集的方式从业务平台网元中获取数据，该业务平台网元中包括短信网关、GPRS网关和WAP网关，并将从业务平台网元中采集到的数据存储到数据采集机集群的分布式文件系统中。若第一数据采集机发生故障，则由第二数据采集机替换第一数据采集机进行数据采集任务。

图2中多个数据采集机组成了数据采集机集群，并且可将该数据采集机集群部署在局址机房中，当然也可将位于不同局址机房中的数据采集机集群通过高速网络互联起来，例如将同一省内不同局址机房通过高速网络互联起来，形成一个统一的数据采集云。

在本实施例中，第一数据采集机包括：数据采集模块和故障检测模块，其中

数据采集模块，用于进行数据采集，并将采集的数据存储到分布式文件系统中；

故障检测模块，用于检测是否发生故障，若是，触发所述第二数据采集机中的数据采集模块进行数据采集。

由上述技术方案中可知，通过在数据采集机集群中设置了主数据采集机和备用数据采集机，首先主数据采集机进行数据采集，并将采集的数据存储到数据采集机集群的分布式文件系统中，当主数据采集机发生故障时，则由备用数据采集机替换主数据采集机进行数据采集，并将备用数据采集机采集的数据存储到采集机集群的分布式文件系统中，从而避免了现有技术中因数据采集机发生故障，而影响采集数据完整性，并且由于在分布式文件系统中每个文件都有多个备份，能够为采集数据提供可靠的保持支持，从而提高了数据采集过程的可靠性。

参见图3，为本发明的实施例中数据采集机的结构示意图，由图中可知，数据采集机30包括：数据采集模块和故障检测模块，其中

数据采集模块31，用于进行数据采集，并将采集的数据存储到分布式文件系统中；

故障检测模块32，用于检测是否发生故障，若是，触发其他数据采集机的数据采集模块进行数据采集。

在本发明的另一实施例中，该数据采集机30还包括：

配置模块33，与数据采集模块31连接，用于配置数据采集机的数据采集方式。

在本发明的另一实施例中，该数据采集机30还包括：

故障告警模块34，与故障检测模块连接32，用于在所述数据采集机发生故障时，发送故障告警信息。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (11)

1.一种数据采集方法，应用于数据采集机集群中，所述数据采集机集群中包括至少两个数据采集机，其特征在于，所述方法包括：

步骤A、所述数据采集机集群中的第一数据采集机进行数据采集，并将采集的数据存储到所述数据采集机集群的分布式文件系统中；

步骤B、当所述第一数据采集机发生故障时，由所述数据采集机集群中的第二数据采集机替换所述第一数据采集机进行数据采集，所述第二数据采集机采集的数据存储到所述数据采集机集群的分布式文件系统中。

2.根据权利要求1所述的数据采集方法，其特征在于，所述第一数据采集机和所述第二数据采集机通过网络进行互联，作为云计算平台节点。

3.根据权利要求2所述的数据采集方法，其特征在于，在所述步骤A之前，所述方法还包括：

将所述数据采集机集群中的所述第一数据采集机设置为主数据采集机；

将所述数据采集机集群中的第二数据采集机设置为备用数据采集机。

4.根据权利要求3所述的数据采集方法，其特征在于，所述步骤B之后，所述方法还包括：

步骤C、在所述第一数据采集机发生故障时，所述第一数据采集机发送故障告警信息。

5.根据权利要求4所述的数据采集方法，其特征在于，所述步骤C之后，所述方法还包括：

对所述第一数据采集机进行故障修复；

将所述第二数据采集机设置为主数据采集机，将所述第一数据采集机设置为备用数据采集机。

6.一种数据采集机集群，其特征在于，包括：

第一数据采集机，用于进行数据采集，并将采集的数据存储到所述数据采集机集群的分布式文件系统中；

第二数据采集机，用于当所述第一数据采集机发生故障时，替换所述第一数据采集机进行数据采集，并将采集的数据存储到所述数据采集机集群的分布式文件系统中。

7.根据权利要求6所述的数据采集机集群，其特征在于，所述第一数据采集机包括：

数据采集模块，用于进行数据采集，并将采集的数据存储到分布式文件系统中；

故障检测模块，用于检测是否发生故障，若是，触发所述第二数据采集机中的数据采集模块进行数据采集。

8.根据权利要求6所述的数据采集机集群，其特征在于，所述第一数据采集机和所述第二数据采集机通过网络进行互联，作为云计算平台节点。

9.一种数据采集机，其特征在于，包括：

数据采集模块，用于进行数据采集，并将采集的数据存储到分布式文件系统中；

故障检测模块，用于检测是否发生故障，若是，触发其他数据采集机的数据采集模块进行数据采集。

10.根据权利要求9所述的数据采集机，其特征在于，还包括：

配置模块，与所述数据采集模块连接，用于配置数据采集机的数据采集方式。

11.根据权利要求10所述的数据采集机，其特征在于，所述数据采集机还包括：

故障告警模块，与所述故障检测模块连接，用于在所述数据采集机发生故障时，发送故障告警信息。

Images