CN104065741B - 数据采集系统和数据采集方法 - Google Patents

Abstract

本发明提供了一种基于Zookeeper集群的数据采集系统，包括：消息队列建立单元，用于根据不同的数据源建立不同的消息队列；Zookeeper集群，用于监控多个采集器的状态，并使所述消息队列中的任一消息数据仅被多台所述采集器中的一个采集器采集，其中每个所述消息队列对应于所述Zookeeper集群的一个持久化节点；每个所述采集器，在所述Zookeeper集群的协调下获取消息数据，所述采集器对应于所述持久化节点下的临时节点。相应地，本发明还提出了一种基于Zookeeper集群的数据采集方法。通过本发明的技术方案，可以按照不同的数据源制定不同的采集模块，可以针对不同的存储需求制定不同的存储策略，实现了数据采集和存储的多样性。

Description

数据采集系统和数据采集方法

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种基于Zookeeper集群的数据采集系统和一种基于Zookeeper集群的数据采集方法。

背景技术

随着大数据时代的到来，企业的数据量在急剧地增加，各种企业应用产生的数据需要被实时、高效、安全地收集并存储到大数据平台上。

目前的数据采集系统有多种方案可供选择，如分布式数据采集工具ApacheFlume、Facebook Scribe等。但是，目前的大部分数据采集系统只是针对某一特定的数据源，并将该特定的数据源存储到特定的文件系统或数据仓库，这样导致难以处理实际应用中的多样化的企业数据和以多种存储方式为基准的并发存储方式，这样就给企业带来了很多不便，例如，一些有些情况下，企业为了适应数据源多样化、存储多样化的需求甚至仍需对这些系统做二次开发。

因此，如何实现数据采集和存储方式的多样化，成为目前亟待解决的问题。

发明内容

本发明正是基于上述技术问题，提出了一种新的技术方案，可以按照不同的数据源制定不同的采集模块，可以针对不同的存储需求制定不同的存储策略，用户可以根据需求方便地实现多终端、多数据源、多存储方式的数据采集与存储，能快速方便地扩展终端和存储方式，实现了数据采集和存储的多样性。

有鉴于此，本发明提出了一种基于Zookeeper集群的数据采集系统，其特征在于，包括：消息队列建立单元，用于根据不同的数据源建立不同的消息队列；Zookeeper集群，用于监控多个采集器的状态，并使所述消息队列中的任一消息数据仅被多台所述采集器中的一个采集器采集，其中每个所述消息队列对应于所述Zookeeper集群的一个持久化节点；每个所述采集器，在所述Zookeeper集群的协调下获取消息数据，所述采集器对应于所述持久化节点下的临时节点。

ZooKeeper是Hadoop的正式子项目，它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。(本释义来自链接http://baike.baidu.com/view/3061646.htm？fr＝aladdin)

在该技术方案中，针对不同的数据源建立不同的消息队列，消息队列定义在不同的主机上面，每个消息队列用来接收不同格式、不同来源的数据，可关联多个发送方和多个接收方，另外，采集器是消息队列的接收方，针对不同的消息队列可以配置不同的采集器。这样，通过支持在同一套系统中制定不同的数据源，并按照不同的数据源制定不同的采集器，就实现了数据采集的多样化，可以针对不同的存储需求制定不同的存储策略，实现对同一数据进行多种方式的并发存储，进而提高了处理效率。

在上述技术方案中，优选地，还包括：所述Zookeeper集群根据采集器注册时间为每个所述消息队列动态产生采集器领导者，将所述采集器领导者所在持久化节点下的临时节点作为领导者节点，以及将所述持久化节点下的其他临时节点作为从节点；所述领导者节点负责与所述从节点的通信以执行预定任务。

在该技术方案中，采集器领导者由Zookeeper集群动态产生，即先注册、处于活动状态的节点会优先被考虑成为采集器领导者节点，采集器领导者节点与从节点通信以执行预定的任务，采集器领导者节点和从节点都位于消息队列的持久化节点之下，每个队列都有一个选举产生的采集器领导者节点和若干个从节点，增加了系统的有序性和稳定性。

在上述技术方案中，优选地，还包括：所述Zookeeper集群根据心跳时间确定所述领导者节点是否丢失，如果确认丢失，则选择下一个注册的采集器作为采集器领导者。

在该技术方案中，Zookeeper集群可设置心跳时间，比如，将心跳时间设置为10秒钟，如果连续10秒钟内没有收到采集器领导者节点的心跳，则认为此采集器领导者节点丢失或节点机器的状态出了问题。ZooKeeper集群有两种工作方式：恢复模式和广播模式。在服务刚刚启动时或在采集器领导者节点丢失后，ZooKeeper集群进入恢复模式，在恢复模式下，系统首先会选举下一个注册的活动节点为采集器领导者节点，增加了系统的稳定性，然后从节点与采集器领导者节点进行状态及数据的同步，之后进入再广播模式，在广播模式里，采集器领导者节点可直接与从节点通信。

在上述技术方案中，优选地，所述预定任务包括：所述领导者节点负责与从节点进行文件属性变更的通信；所述领导者节点周期性地合并所述从节点上的文件数据；以及所述领导者节点定期调用预设脚本或程序对所有采集器生成的文件进行分析。

在该技术方案中，文件属性包括文件存储方式、存储位置、文件名及其它信息变更。比如，在HDFS(Hadoop Distributed File System，为一种分布式文件系统)存储方式下，采集器领导者节点会周期性地生成文件名，通过周期性的心跳机制，各采集器通过节点可以从ZooKeeper处感知到采集器领导者节点的数据变化，如文件名称信息的变化，根据最新的文件名称模板生成自己的文件。同时，采集器领导者节点会周期性地合并各从节点上的文件数据，或者通知从节点具体的存储位置及存储方式，实现了存储的多样化。另外，采集器领导者节点是动态选举产生的，但采集器领导者节点需要执行的任务是系统指定的。预设脚本包括Pig脚本和Hive脚本，预设程序包括MapReduce程序。其中，Hive是基于Hadoop的一种数据仓库工具，MapReduce程序用于大规模数据集的并行运算。这些脚本或者程序中包含着主要的业务逻辑，如合并、聚集等，采集器领导者可通过系统环境或指定参数访问到这些业务逻辑以进行分析，以针对不同的存储需求制定不同的存储策略。

在上述技术方案中，优选地，还包括：数据库，用于存储分析后得到的数据。

在该技术方案中，分析后的数据可通过Pig脚本存储于外部数据库，如Oracle、PostgreSQL等，也可通过Sqoop导出HDFS或Hive中的数据到外部关系型数据库。其它系统可访问此数据库做进一步的分析，灵活实现了企业的分析需求。其中，Sqoop是一种开源的工具，用于在Hadoop和其他数据库之间进行数据交换。

根据本发明的另一方面，还提供了一种基于Zookeeper集群的数据采集方法，包括：根据不同的数据源建立不同的消息队列；通过Zookeeper集群监控多个采集器的状态，并使所述消息队列中的任一消息数据仅被多台所述采集器中的一个采集器采集，其中每个所述消息队列对应于所述Zookeeper集群的一个持久化节点；每个所述采集器在所述Zookeeper集群的协调下获取消息数据，所述采集器对应于所述持久化节点下的临时节点。

ZooKeeper是Hadoop的正式子项目，它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。(本释义来自链接http://baike.baidu.com/view/3061646.htm？fr＝aladdin)

在该技术方案中，针对不同的数据源建立不同的消息队列，消息队列定义在不同的主机上面，每个消息队列用来接收不同格式、不同来源的数据，可关联多个发送方和多个接收方，另外，采集器是消息队列的接收方，针对不同的消息队列可以配置不同的采集器。这样，通过支持在同一套系统中制定不同的数据源，并按照不同的数据源制定不同的采集器，就实现了数据采集的多样化，可以针对不同的存储需求制定不同的存储策略，实现对同一数据进行多种方式的并发存储，提高了处理效率。

在上述技术方案中，优选地，还包括：所述Zookeeper集群根据采集器注册时间为每个所述消息队列动态产生采集器领导者，将所述采集器领导者所在持久化节点下的临时节点作为领导者节点，以及将所述持久化节点下的其他临时节点作为从节点；以及所述领导者节点负责与所述从节点的通信以执行预定任务。

在该技术方案中，采集器领导者由Zookeeper集群动态产生，即先注册、处于活动状态的节点会优先被考虑成为采集器领导者节点，采集器领导者节点与从节点通信以执行预定的任务，采集器领导者节点和从节点都位于消息队列的持久化节点之下，每个队列都有一个选举产生的采集器领导者节点和若干个从节点，增加了系统的有序性和稳定性。

在上述技术方案中，优选地，还包括：所述Zookeeper集群根据心跳时间确定所述领导者节点是否丢失，如果确认丢失，则选择下一个注册的采集器作为领导者节点。

在该技术方案中，Zookeeper集群可设置心跳时间，比如，将心跳时间设置为10秒钟，如果连续10秒钟内没有收到采集器领导者节点的心跳，则认为此采集器领导者节点丢失或节点机器的状态出了问题。ZooKeeper集群有两种工作方式：恢复模式和广播模式。在服务刚刚启动时或在采集器领导者节点丢失后，ZooKeeper集群进入恢复模式，在恢复模式下，系统首先会选举下一个注册的活动节点为采集器领导者节点，增加了系统的稳定性，然后从节点与采集器领导者节点进行状态及数据的同步，之后进入再广播模式，在广播模式里，采集器领导者节点可直接与从节点通信。

在上述技术方案中，优选地，所述预定任务包括：所述领导者节点负责与从节点进行文件属性变更的通信；所述领导者节点周期性地合并所述从节点上的文件数据；以及所述领导者节点定期调用预设脚本或程序对所有采集器生成的文件进行分析。

在该技术方案中，文件属性包括文件存储方式、存储位置、文件名及其它信息变更。比如，在HDFS(Hadoop Distributed File System，为一种分布式文件系统)存储方式下，采集器领导者节点会周期性地生成文件名，通过周期性的心跳机制，各采集器通过节点可以从ZooKeeper处感知到采集器领导者节点的数据变化，如文件名称信息的变化，根据最新的文件名称模板生成自己的文件。同时，采集器领导者节点会周期性地合并各从节点上的文件数据，或者通知从节点具体的存储位置及存储方式，实现了存储的多样化。另外，采集器领导者节点是动态选举产生的，但采集器领导者节点需要执行的任务是系统指定的。预设脚本包括Pig脚本和Hive脚本，预设程序包括MapReduce程序。其中，Hive是基于Hadoop的一种数据仓库工具，MapReduce程序用于大规模数据集的并行运算。这些脚本或者程序中包含着主要的业务逻辑，如合并、聚集等，采集器领导者可通过系统环境或指定参数访问到这些业务逻辑以进行分析，以针对不同的存储需求制定不同的存储策略。

在上述技术方案中，优选地，还包括：将分析后得到的数据存储于数据库中。

在该技术方案中，分析后的数据可通过Pig脚本存储于外部数据库，如Oracle、PostgreSQL等，也可通过Sqoop导出HDFS或Hive中的数据到外部关系型数据库。其它系统可访问此数据库做进一步的分析，灵活实现了企业的分析需求。其中，Sqoop是一种开源的工具，用于在Hadoop和其他数据库之间进行数据交换。

通过本发明的技术方案，可以按照不同的数据源制定不同的采集模块，可以针对不同的存储需求制定不同的存储策略，用户可以根据需求方便地实现多终端、多数据源、多存储方式的数据采集与存储，能快速方便地扩展终端和存储方式，实现了数据采集和存储方式的多样性，通过实时、稳定的集群间数据通信和任务分发，可以快速地获取、处理数据，有效地控制负载均衡，加快数据的处理周期，可灵活应对企业数据的采集、存储、分析的需求，极大地提高了处理效率。

附图说明

图1示出了根据本发明的实施例的数据采集系统的框图；

图2示出了根据本发明的实施例的数据采集方法的流程图；

图3示出了根据本发明的一个实施例的数据采集系统的示意框图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

图1示出了根据本发明的实施例的数据采集系统的框图。

如图1所示，根据本发明的实施例的数据采集系统100，包括：消息队列建立单元102，用于根据不同的数据源建立不同的消息队列；Zookeeper集群104，用于监控多个采集器的状态，并使消息队列中的任一消息数据仅被多台采集器中的一个采集器采集，其中每个消息队列对应于Zookeeper集群的一个持久化节点；每个采集器106，在Zookeeper集群的协调下获取消息数据，采集器对应于持久化节点下的临时节点。

ZooKeeper是Hadoop的正式子项目，它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。(本释义来自链接http://baike.baidu.com/view/3061646.htm？fr＝aladdin)

在该技术方案中，针对不同的数据源建立不同的消息队列，消息队列定义在不同的主机上面，每个消息队列用来接收不同格式、不同来源的数据，可关联多个发送方和多个接收方，另外，采集器是消息队列的接收方，针对不同的消息队列可以配置不同的采集器。这样，通过支持在同一套系统中制定不同的数据源，并按照不同的数据源制定不同的采集器，就实现了数据采集的多样化，可以针对不同的存储需求制定不同的存储策略，实现对同一数据进行多种方式的并发存储，提高了处理效率。

在上述技术方案中，优选地，还包括：Zookeeper集群根据采集器注册时间为每个消息队列动态产生采集器领导者，将采集器领导者所在持久化节点下的临时节点作为领导者节点，以及将持久化节点下的其他临时节点作为从节点；领导者节点负责与从节点的通信以执行预定任务。

在该技术方案中，采集器领导者由Zookeeper集群动态产生，即先注册、处于活动状态的节点会优先被考虑成为采集器领导者节点，采集器领导者节点与从节点通信以执行预定的任务，采集器领导者节点和从节点都位于消息队列的持久化节点之下，每个队列都有一个选举产生的采集器领导者节点和若干个从节点，增加了系统的有序性和稳定性。

在上述技术方案中，优选地，还包括：Zookeeper集群根据心跳时间确定领导者节点是否丢失，如果确认丢失，则选择下一个注册的采集器作为采集器领导者。

在该技术方案中，Zookeeper集群可设置心跳时间，比如，将心跳时间设置为10秒钟，如果连续10秒钟内没有收到采集器领导者节点的心跳，则认为此采集器领导者节点丢失或节点机器的状态出了问题。ZooKeeper集群有两种工作方式：恢复模式和广播模式。在服务刚刚启动时或在采集器领导者节点丢失后，ZooKeeper集群进入恢复模式，在恢复模式下，系统首先会选举下一个注册的活动节点为采集器领导者节点，增加了系统的稳定性，然后从节点与采集器领导者节点进行状态及数据的同步，之后进入再广播模式，在广播模式里，采集器领导者节点可直接与从节点通信。

在上述技术方案中，优选地，预定任务包括：领导者节点负责与从节点进行文件属性变更的通信；领导者节点周期性地合并从节点上的文件数据；以及领导者节点定期调用预设脚本或程序对所有采集器生成的文件进行分析。

在该技术方案中，文件属性包括文件存储方式、存储位置、文件名及其它信息变更。比如，在HDFS(Hadoop Distributed File System，为一种分布式文件系统)存储方式下，采集器领导者节点会周期性地生成文件名，通过周期性的心跳机制，各采集器通过节点可以从ZooKeeper处感知到采集器领导者节点的数据变化，如文件名称信息的变化，根据最新的文件名称模板生成自己的文件。同时，采集器领导者节点会周期性地合并各从节点上的文件数据，或者通知从节点具体的存储位置及存储方式，实现了存储的多样化。另外，采集器领导者节点是动态选举产生的，但采集器领导者节点需要执行的任务是系统指定的。预设脚本包括Pig脚本和Hive脚本，预设程序包括MapReduce程序。其中，Hive是基于Hadoop的一种数据仓库工具，MapReduce程序用于大规模数据集的并行运算。这些脚本或者程序中包含着主要的业务逻辑，如合并、聚集等，采集器领导者可通过系统环境或指定参数访问到这些业务逻辑以进行分析，以针对不同的存储需求制定不同的存储策略。

在上述技术方案中，优选地，还包括：数据库108，用于存储分析后得到的数据。

在该技术方案中，分析后的数据可通过Pig脚本存储于外部数据库，如Oracle、PostgreSQL等，也可通过Sqoop导出HDFS或Hive中的数据到外部关系型数据库。其它系统可访问此数据库做进一步的分析，灵活实现了企业的分析需求。其中，Sqoop是一种开源的工具，用于在Hadoop和其他数据库之间进行数据交换。

图2示出了根据本发明的实施例的数据采集方法的流程图。

如图2所示，根据本发明的实施例的数据采集方法，包括以下步骤：

步骤202，根据不同的数据源建立不同的消息队列。针对不同的数据源建立不同的消息队列，消息队列定义在不同的主机上面，每个消息队列用来接收不同格式、不同来源的数据，可关联多个发送方和多个接收方.

步骤204，通过Zookeeper集群监控多个采集器的状态，并使消息队列中的任一消息数据仅被多台采集器中的一个采集器采集，其中每个消息队列对应于Zookeeper集群的一个持久化节点。采集器是消息队列的接收方，针对不同的消息队列可以配置不同的采集器。这样，通过支持在同一套系统中制定不同的数据源，并按照不同的数据源制定不同的采集器，就实现了数据采集的多样化，可以针对不同的存储需求制定不同的存储策略，实现对同一数据进行多种方式的并发存储，提高了处理效率。

步骤206，每个采集器在Zookeeper集群的协调下获取消息数据，采集器对应于持久化节点下的临时节点。

ZooKeeper是Hadoop的正式子项目，它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。(本释义来自链接http://baike.baidu.com/view/3061646.htm？fr＝aladdin)

在上述技术方案中，优选地，还包括：Zookeeper集群根据采集器注册时间为每个消息队列动态产生采集器领导者，将采集器领导者所在持久化节点下的临时节点作为领导者节点，以及将持久化节点下的其他临时节点作为从节点；以及领导者节点负责与从节点的通信以执行预定任务。

在该技术方案中，采集器领导者由Zookeeper集群动态产生，即先注册、处于活动状态的节点会优先被考虑成为采集器领导者节点，采集器领导者节点与从节点通信以执行预定的任务，采集器领导者节点和从节点都位于消息队列的持久化节点之下，每个队列都有一个选举产生的采集器领导者节点和若干个从节点，增加了系统的有序性和稳定性。

在上述技术方案中，优选地，还包括：Zookeeper集群根据心跳时间确定领导者节点是否丢失，如果确认丢失，则选择下一个注册的采集器作为领导者节点。

在该技术方案中，Zookeeper集群可设置心跳时间，比如，将心跳时间设置为10秒钟，如果连续10秒钟内没有收到采集器领导者节点的心跳，则认为此采集器领导者节点丢失或节点机器的状态出了问题。ZooKeeper集群有两种工作方式：恢复模式和广播模式。在服务刚刚启动时或在采集器领导者节点丢失后，ZooKeeper集群进入恢复模式，在恢复模式下，系统首先会选举下一个注册的活动节点为采集器领导者节点，增加了系统的稳定性，然后从节点与采集器领导者节点进行状态及数据的同步，之后进入再广播模式，在广播模式里，采集器领导者节点可直接与从节点通信。

在上述技术方案中，优选地，预定任务包括：领导者节点负责与从节点进行文件属性变更的通信；领导者节点周期性地合并从节点上的文件数据；以及领导者节点定期调用预设脚本或程序对所有采集器生成的文件进行分析。

在该技术方案中，文件属性包括文件存储方式、存储位置、文件名及其它信息变更。比如，在HDFS(Hadoop Distributed File System，为一种分布式文件系统)存储方式下，采集器领导者节点会周期性地生成文件名，通过周期性的心跳机制，各采集器通过节点可以从ZooKeeper处感知到采集器领导者节点的数据变化，如文件名称信息的变化，根据最新的文件名称模板生成自己的文件。同时，采集器领导者节点会周期性地合并各从节点上的文件数据，或者通知从节点具体的存储位置及存储方式，实现了存储的多样化。另外，采集器领导者节点是动态选举产生的，但采集器领导者节点需要执行的任务是系统指定的。预设脚本包括Pig脚本和Hive脚本，预设程序包括MapReduce程序。其中，Hive是基于Hadoop的一种数据仓库工具，MapReduce程序用于大规模数据集的并行运算。这些脚本或者程序中包含着主要的业务逻辑，如合并、聚集等，采集器领导者可通过系统环境或指定参数访问到这些业务逻辑以进行分析，以针对不同的存储需求制定不同的存储策略。

在上述技术方案中，优选地，还包括：将分析后得到的数据存储于数据库中。

在该技术方案中，分析后的数据可通过Pig脚本存储于外部数据库，如Oracle、PostgreSQL等，也可通过Sqoop导出HDFS或Hive中的数据到外部关系型数据库。其它系统可访问此数据库做进一步的分析，灵活实现了企业的分析需求。其中，Sqoop是一种开源的工具，用于在Hadoop和其他数据库之间进行数据交换。

图3示出了根据本发明的一个实施例的数据采集系统的示意框图。

如图3所示，根据本发明的一个实施例的数据采集系统300，包括：JMS(JavaMessage Service)总线302，JMS通常用于在两个应用程序之间或分布式系统中传递信息，JMS总线302在此用于针对不同的数据源建立不同的消息队列，消息队列定义在不同的主机上面，每个消息队列接收不同格式和/或不同来源的数据，并可关联多个发送方和多个接收方；ZooKeeper集群304，ZooKeeper是应用于分布式系统的协调系统，包括配置维护、名字服务、分布式同步、组服务等，ZooKeeper集群304有恢复模式和广播模式两种工作方式，在服务启动时或在采集器Leader3061丢失后，ZooKeeper集群304进入恢复模式，系统先选举采集器Leader节点，然后从节点与采集器Leader节点进行状态及数据的同步，之后再进入广播模式，在广播模式里采集器Leader3061可以直接广播消息；采集器集群306，采集器集群306包括采集器Leader3061、采集器3062、…、采集器306N，是消息队列的接收方，针对不同的消息队列，需要配置不同的采集器集群；HDFS、Hive、HBase，为数据存储方式，采集器收集来的数据可自行选择存储方式；数据处理程序308，包括MapReduce程序3082、Hive脚本3084、Pig脚本3086三种预定义的数据处理程序；关系型数据库310，包括Oracle、PostGre等，用来存储分析数据。

在上述技术方案中，由ZooKeeper集群304协调采集器集群306经JMS总线302获取消息队列中的消息数据，队列中的数据只被一台采集器获得。ZooKeeper集群实时监控采集器集群306中各采集器的状态，每个队列对应于ZooKeeper集群中的一个持久化节点，每个采集器对应于这个持久化节点下的临时节点。消息队列节点在系统启动时建立，每个采集器启动后会自动将自己注册到指定的队列下。

系统在多台采集器中选举一个采集器Leader3061，这个采集器Leader3061是由ZooKeeper集群304动态产生的。目前的选举算法是参考机器注册的时间，即先注册、处于活动状态的节点会优先被考虑成为Leader。当前的采集器Leader3061如果丢失，则会检查下一个注册的活动节点为Leader节点。Leader节点和从节点都位于队列的持久化节点之下，每个队列都有一个选举产生的Leader节点和若干个从节点。另外，还可以设置心跳时间，比如，将心跳时间设置为10秒钟，如果连续10秒钟没有收到节点的心跳，则认为此节点丢失或节点机器的状态出了问题。

采集器Leader3061负责与从节点进行文件存储方式、存储位置、文件名及其它信息变更的通信。比如，在HDFS存储方式的情况写，Leader会周期性地生成文件名，通过周期性的心跳机制，采集器集群306包括采集器Leader3061、采集器3062、…、采集器306N从节点可以从ZooKeeper集群处感知到Leader节点的数据变化，如文件名称信息的变化，根据最新的文件名称模板生成自己的文件。同时，采集器Leader3061会周期性的合并各从节点上的文件数据，或者通知从节点具体的存储位置及存储方式。采集器Leader3061是动态选举产生的，但采集器Leader3061需要执行的任务是系统指定的。

采集器Leader3061的另一职责是定期调用数据处理程序308，包括MapReduce程序3082、Hive脚本3084或者Pig脚本3086，对采集器集群306生成的文件做数据分析。这些脚本或者程序中包含主要的业务逻辑，如合并、聚集等等，采集器Leader3061可通过系统环境或指定参数访问到这些程序。

分析后的数据可通过Pig脚本3086存储于外部的关系型数据库310，如Oracle、PostgreSQL等，也可通过Sqoop导出HDFS或Hive存储方式中的数据到关系型数据库310，其它系统可访问关系型数据库310以做进一步的分析。其中，Sqoop是一种开源的工具，用于在Hadoop和其他数据库之间进行数据交换。

以上结合附图详细说明了本发明的技术方案，通过本发明的技术方案，可以按照不同的数据源制定不同的采集模块，可以针对不同的存储需求制定不同的存储策略，用户可以根据需求方便地实现多终端、多数据源、多存储方式的数据采集与存储，能快速方便地扩展终端和存储方式，实现了数据采集和存储方式的多样性，通过实时、稳定的集群间数据通信和任务分发，可以快速地获取、处理数据，有效地控制负载均衡，加快数据的处理周期，可灵活应对企业数据的采集、存储、分析的需求，极大地提高了处理效率。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于Zookeeper集群的数据采集系统，其特征在于，包括：

消息队列建立单元，用于根据不同的数据源建立不同的消息队列；

Zookeeper集群，用于监控多个采集器的状态，并使所述消息队列中的任一消息数据仅被多台所述采集器中的一个采集器采集，其中每个所述消息队列对应于所述Zookeeper集群的一个持久化节点；

每个所述采集器，在所述Zookeeper集群的协调下获取消息数据，所述采集器对应于所述持久化节点下的临时节点；

所述Zookeeper集群根据采集器注册时间为每个所述消息队列动态产生采集器领导者，将所述采集器领导者所在持久化节点下的临时节点作为领导者节点，以及将所述持久化节点下的其他临时节点作为从节点；

所述领导者节点负责与所述从节点的通信以执行预定任务。

2.根据权利要求1所述的数据采集系统，其特征在于，还包括：

所述Zookeeper集群根据心跳时间确定所述领导者节点是否丢失，如果确认丢失，则选择下一个注册的采集器作为采集器领导者。

3.根据权利要求2所述的数据采集系统，其特征在于，所述预定任务包括：

所述领导者节点负责与从节点进行文件属性变更的通信；

所述领导者节点周期性地合并所述从节点上的文件数据；以及

所述领导者节点定期调用预设脚本或程序对所有采集器生成的文件进行分析。

4.根据权利要求3所述的数据采集系统，其特征在于，还包括：

数据库，用于存储分析后得到的数据。

5.一种基于Zookeeper集群的数据采集方法，其特征在于，包括：

根据不同的数据源建立不同的消息队列；

通过Zookeeper集群监控多个采集器的状态，并使所述消息队列中的任一消息数据仅被多台所述采集器中的一个采集器采集，其中每个所述消息队列对应于所述Zookeeper集群的一个持久化节点；

每个所述采集器在所述Zookeeper集群的协调下获取消息数据，所述采集器对应于所述持久化节点下的临时节点；

所述Zookeeper集群根据采集器注册时间为每个所述消息队列动态产生采集器领导者，将所述采集器领导者所在持久化节点下的临时节点作为领导者节点，以及将所述持久化节点下的其他临时节点作为从节点；以及

所述领导者节点负责与所述从节点的通信以执行预定任务。

6.根据权利要求5所述的数据采集方法，其特征在于，还包括：

所述Zookeeper集群根据心跳时间确定所述领导者节点是否丢失，如果确认丢失，则选择下一个注册的采集器作为领导者节点。

7.根据权利要求6所述的数据采集方法，其特征在于，所述预定任务包括：

所述领导者节点负责与从节点进行文件属性变更的通信；

所述领导者节点周期性地合并所述从节点上的文件数据；以及

所述领导者节点定期调用预设脚本或程序对所有采集器生成的文件进行分析。

8.根据权利要求7所述的数据采集方法，其特征在于，还包括：

将分析后得到的数据存储于数据库中。