CN106060123B - 分布式数据系统的数据采集方法及分布式数据系统 - Google Patents

Abstract

本发明涉及分布式数据系统的数据采集方法及分布式数据系统，该系统包括多个数据中心和远程终端，数据中心包括管理数据中心和辅助数据中心，该数据采集方法包括：管理数据中心将数据采集任务平均分配给各个辅助数据中心执行；管理数据中心每间隔预设时长获取一次各个辅助数据中心处理数据采集任务的硬件负荷，将该硬件负荷作为参考硬件负荷；管理数据中心根据参考硬件负荷，动态调整各个辅助数据中心执行的数据采集任务，以均衡各辅助数据中心的硬件负载。本发明加快了数据采集任务的处理速度，数据中心能够及时采集所需的目标数据，避免因目标数据采集不及时所导致的目标数据采集不完整的问题。

Description

分布式数据系统的数据采集方法及分布式数据系统

技术领域

本发明涉及分布式系统技术领域，尤其涉及一种分布式数据系统的数据采集方法及分布式数据系统。

背景技术

现实中，每时每刻都产生大量的数据，有些需要分析，有些需要存储，所有的这些需要处理的数据数量是庞大，具有相似性的，所以需要对这些大数据进行分析处理，采集需要的数据。

在现有技术中，一般是采用数据采集机对远程终端生成的目标数据(例如性能数据、告警数据、流量数据、业务数据等)进行采集，数据采集机并行采集或逐个采集远程终端的目标数据，然后数据采集机将目标数据上传至数据中心，但是，由于数据采集机硬件性能有限、网络带宽不足等原因，当远程终端的数量达到一定数量时，数据采集机将无法及时采集所需的目标数据，造成数据中心采集目标数据不完整的技术问题。

发明内容

本发明的主要目的在于提供一种分布式数据系统的数据采集方法及分布式数据系统，旨在解决现有数据中心采集目标数据不完整的技术问题。

为实现上述目的，本发明提供的一种分布式数据系统的数据采集方法，所述分布式数据系统包括多个相互通信连接的数据中心和各个数据中心下属的远程终端，数据中心包括管理数据中心和辅助数据中心，

该分布式数据系统的数据采集方法包括：

管理数据中心将采集各个远程终端上传数据的数据采集任务平均分配给各个辅助数据中心执行，其中一个远程终端对应一个数据采集任务；

管理数据中心每间隔预设时长获取一次各个辅助数据中心处理数据采集任务的硬件负荷，将该硬件负荷作为参考硬件负荷；

管理数据中心根据所述参考硬件负荷，动态调整各个辅助数据中心执行的数据采集任务，以均衡各辅助数据中心的硬件负载。

优选地，所述分布式数据系统的数据采集方法还包括：

当管理数据中心发生故障时，提取当前管理数据中心运行中生成的替换者信息，并将替换者信息对应的辅助数据中心作为新的管理数据中心。

优选地，所述管理数据中心根据所述参考硬件负荷，动态调整各个辅助数据中心执行的数据采集任务的步骤包括：

管理数据中心根据所述参考硬件负荷，选出硬件负荷最高的极大辅助数据中心和硬件负荷最低的极小辅助数据中心；

管理数据中心从所述极大辅助数据中心回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心。

优选地，将极大辅助数据中心的硬件负荷作为极大硬件负荷，将极小辅助数据中心的硬件负荷作为极小硬件负荷，

所述管理数据中心从所述极大辅助数据中心回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心的步骤包括：

管理数据中心计算所述极大硬件负荷与极小硬件负荷的负荷差值；

若所述负荷差值大于负荷阈值，则管理数据中心从所述极大辅助数据中心回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心。

优选地，管理数据中心统计每个数据采集任务经历回收和再分配的调整次数，

所述管理数据中心从所述极大辅助数据中心回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心的步骤包括：

管理数据中心从所述极大辅助数据中心回收一个或多个调整次数小于次数阈值的数据采集任务，将该数据采集任务作为待分配任务；

管理数据中心将所述待分配任务再分配给极小辅助数据中心。

本发明还提供一种分布式数据系统，所述分布式数据系统包括多个相互通信连接的数据中心和各个数据中心下属的远程终端，数据中心包括管理数据中心和辅助数据中心，

所述管理数据中心包括：

任务均分模块，用于将采集各个远程终端上传数据的数据采集任务平均分配给各个辅助数据中心执行，其中一个远程终端对应一个数据采集任务；

负荷获取模块，用于每间隔预设时长获取一次各个辅助数据中心处理数据采集任务的硬件负荷，将该硬件负荷作为参考硬件负荷；

动态调节模块，用于根据所述参考硬件负荷，动态调整各个辅助数据中心执行的数据采集任务，以均衡各辅助数据中心的硬件负载；

所述辅助数据中心每间隔预设时长向当前的管理数据中心发送当前处理数据采集任务的硬件负荷。

优选地，所述管理数据中心还包括：

替换模块，用于当管理数据中心发生故障时，提取当前管理数据中心运行中生成的替换者信息，并将替换者信息对应的辅助数据中心作为新的管理数据中心。

优选地，所述动态调节模块包括：

筛选单元，用于根据所述参考硬件负荷，选出硬件负荷最高的极大辅助数据中心和硬件负荷最低的极小辅助数据中心；

再分配单元，用于从所述极大辅助数据中心回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心。

优选地，将极大辅助数据中心的硬件负荷作为极大硬件负荷，将极小辅助数据中心的硬件负荷作为极小硬件负荷，

所述再分配单元包括：

差值计算子单元，用于计算所述极大硬件负荷与极小硬件负荷的负荷差值；

回收分配子单元，用于在所述负荷差值大于负荷阈值时，则从所述极大辅助数据中心回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心。

优选地，管理数据中心统计每个数据采集任务经历回收和再分配的调整次数，

所述回收分配子单元还用于：

从所述极大辅助数据中心回收一个或多个调整次数小于次数阈值的数据采集任务，将该数据采集任务作为待分配任务；

将所述待分配任务再分配给极小辅助数据中心。

本发明通过确定管理数据中心，并且管理数据中心先将数据采集任务平均分配到辅助数据中心，然后获取各个辅助数据中心的参考硬件负荷，最后根据参考硬件负荷，动态调整各个辅助数据中心的数据采集任务，以实现各个辅助数据中心的负载动态均衡，从而充分利用多个数据中心的硬件资源和网络带宽，并行地处理多个远程终端的数据采集任务，从而加快了数据采集任务的处理速度，数据中心能够及时采集所需的目标数据，避免因目标数据采集不及时所导致的目标数据采集不完整的问题。

附图说明

图1为本发明分布式数据系统的数据采集方法第一实施例的流程示意图；

图2为本发明分布式数据系统的数据采集方法第二实施例的流程示意图；

图3为本发明分布式数据系统的数据采集方法第三实施例中管理数据中心根据参考硬件负荷，动态调整各个辅助数据中心执行的数据采集任务，以均衡各辅助数据中心的硬件负载的步骤的细化流程示意图；

图4为本发明分布式数据系统的数据采集方法第四实施例中管理数据中心从极大辅助数据中心回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心的步骤的细化流程示意图；

图5为本发明分布式数据系统的数据采集方法第五实施例中若负荷差值大于负荷阈值，则管理数据中心从极大辅助数据中心回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心的步骤的细化流程示意图；

图6为本发明分布式数据系统第一实施例的系统框架示意图；

图7为本发明分布式数据系统第二实施例中管理数据中心的功能模块示意图；

图8为本发明分布式数据系统第三实施例中管理数据中心的动态调节模块的细化功能模块示意图；

图9为本发明分布式数据系统第四实施例中管理数据中心的再分配单元的细化功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种分布式数据系统的数据采集方法(以下简称数据采集方法)，在本发明数据采集方法的第一实施例中，参照图1和图6，分布式数据系统包括多个相互通信连接的数据中心和各个数据中心下属的远程终端300，数据中心包括管理数据中心100和辅助数据中心100，可将最早启动数据采集进程的数据中心作为管理数据中心100，分布式数据系统中其它数据中心作为辅助数据中心110，该数据采集方法包括：

步骤S10，管理数据中心100将采集各个远程终端300上传数据的数据采集任务平均分配给各个辅助数据中心110执行，其中一个远程终端300对应一个数据采集任务；

分布式数据系统中的各个数据中心之间的通讯结构可为星型、网型等，优选地，各个数据中心与一网络互联设备200(如交换机、集线器等)连接，下属各个远程终端300也与网络互联设备200连接，本发明引进数据采集进程用以管理数据中心100进行数据采集的过程，每个数据中心上都运行一个数据采集进程，某一数据中心的管理进程启动时，若发现其它数据中心没有数据采集进程在运行，则该数据采集进程作为主数据采集进程，从而主数据采集进程对应的数据中心作为管理数据中心100，其它数据中心则作为辅助数据中心110，辅助数据中心110上运行的数据采集进程作为从数据采集进程；此处管理数据中心100和辅助数据中心110只是进程的主辅关系，每个数据中心上处理的数据采集任务没有主辅之分。

管理数据中心100对应一个远程终端300一个数据采集任务，将采集各远程终端300上传数据的数据采集任务平均分配给各个辅助数据中心110执行，此处的平均分配可以理解为：为每个辅助数据中心110分配平均数个数据采集任务，其中平均数为数据采集任务总数除以数据中心总数；当然，平均分配也可以是其它方式，只要大致实现将数据采集任务均为到各个辅助数据中心110即可，例如逐个将数据采集任务随机分配到各个辅助数据中心110。

步骤S20，管理数据中心100每间隔预设时长获取一次各个辅助数据中心110处理数据采集任务的硬件负荷，将该硬件负荷作为参考硬件负荷；

步骤S30，管理数据中心100根据参考硬件负荷，动态调整各个辅助数据中心110执行的数据采集任务，以均衡各辅助数据中心110的硬件负载。

数据中心在执行对数据采集任务之前，是无法知晓哪个数据采集任务比较费时、哪个数据采集任务比较简单的，并各个数据中心的硬件处理能力也不尽相同，所以各数据中心(包括管理数据中心100和辅助管理中心)因处理数据采集任务所产生的硬件负荷不可能持续保持均衡，所以需进一步动态调整。

硬件负荷可包括CPU负荷、内存负荷等中一项或多项，优先选择CPU负荷作为硬件负荷，数据中心对数据采集任务的处理时间越长，则硬件负荷越高，管理数据中心100每间隔预设时长(例如3分钟)获取一次各辅助数据中心110的硬件负荷(即参考硬件负荷)，然后管理数据中心100根据各个辅助数据中心110的参考硬件负荷，动态调整各个辅助数据中心110执行的数据采集任务，其中硬件负荷高的辅助数据中心110的数据采集任务向硬件负荷低的辅助数据中心110转移。

在本实施例中，通过确定管理数据中心100，并且管理数据中心100先将数据采集任务平均分配到辅助数据中心110，然后获取各个辅助数据中心110的参考硬件负荷，最后根据参考硬件负荷，动态调整各个辅助数据中心110的数据采集任务，以实现各个辅助数据中心110的负载动态均衡，从而充分利用多个数据中心的硬件资源和网络带宽，并行地处理多个远程终端300的数据采集任务，从而加快了数据采集任务的处理速度，数据中心能够及时采集所需的目标数据，避免因目标数据采集不及时所导致的目标数据采集不完整的问题。

进一步地，在本发明数据采集方法第一实施例的基础上，提出数据采集方法第二实施例，参照图2，在第二实施例中，数据采集方法还包括：

步骤S40，当管理数据中心100发生故障时，提取当前管理数据中心100运行中生成的替换者信息，并将替换者信息对应的辅助数据中心110作为新的管理数据中心100。

在数据中心被作为管理数据中心100时，该管理数据中心100中保存有替换者信息(即替换数据中心的信息)，当管理数据中心100发生故障时，直接提取当前管理数据中心100中的替换者信息，并将替换者信息对应的辅助数据中心110作为新的管理数据中心100，避免因管理数据中心100发生故障，出现两台管理数据中心100或无管理数据中心100的情形而影响数据采集任务的执行和分配。此外，需说明的是，发生故障的管理数据中心100在被取消作为管理数据中心100时会释放自己处理的数据采集任务，新的管理数据中心100回收上一届管理数据中心100释放的数据采集任务以再次分配给辅助数据中心110。

优选地，在本发明数据采集方法第二实施例的基础上，步骤S40之后还包括：

步骤S50，新的管理数据中心对发生故障的数据中心进行修复，并向预设维护端输出事件提示。

新的管理数据中心100对发生故障的数据中心(即前一届的管理数据中心)进行修复，该修复包括软件修复和/或硬件修复，并向预设的维护端输出事件提示，以告知系统维护人员故障情况

具体地，步骤S50包括：

步骤S51，新的管理数据中心使用预存的正确程序内容对发生故障的数据中心的程序内容进行数据修复；

步骤S52，若未检测到发生故障的数据中心基于进行数据修复后的程序发送的响应消息，则复位重启发生故障的数据中心；

步骤S53，若检测到复位重启后的发生故障的数据中心发送的响应消息，则判定发生故障的数据中心发生软件失效，输出第一事件提示；

步骤S54，若未检测到复位重启后的发生故障的数据中心发送的响应消息，则判定发生故障的数据中心发生硬件失效，输出第二事件提示。

数据中心的程序内容一般是固定不变的，在确定管理数据中心发生故障之后，使用预存的正确程序内容对发生故障的数据中心的程序内容进行数据修复，若发生故障的数据中心在基于正确程序内容进行数据修复后，能够向当前的管理数据中心发送响应消息，即管理数据中心检测到发生故障的数据中心基于进行数据修复后的程序发送的响应消息，则判定发生故障的数据中心发生软件失效，向维护终端输出第一事件提示，该第一事件提示用于向维护终端报告发生故障的数据中心是程序软件失效，提示维护人员注意对发生故障的数据中心进行软件方面的维护，从而为维护人员提供较为准确的故障检测结果，以及自动解决发生故障的数据中心软件方面的失效问题。

在对发生故障的数据中心进行软件数据修复之后，若还是未检测到未检测到发生故障的数据中心基于进行数据修复后的程序发送的响应消息，此时可推测发生故障的数据中心出现硬件上问题，则复位并重启失效数据节点；若检测到复位重启后的发生故障的数据中心发送的响应消息，表明发生故障的数据中心内部软件程序在运行上出了问题，则判定发生故障的数据中心发生软件失效，输出第一事件提示；若还是未检测到复位重启后的发生故障的数据中心发送的响应消息，即对发生故障的数据中心进行数据修复和复位重启之后，发生故障的数据中心还是不能正常发送响应消息，则判定发生故障的数据中心发生硬件失效，输出第二事件提示，该第二事件提示用于向维护终端报告发生故障的数据中心是存储设备硬件失效，提示维护人员注意对发生故障的数据中心进行硬件方面的维护，从而为维护人员提供较为准确的故障检测结果，以便维护人员及时准备数据中心硬件维护所需的工具和耗材。

进一步地，在本发明数据采集方法第二实施例的基础上，提出数据采集方法第三实施例，参照图3，在第三实施例中，步骤S30包括：

步骤S31，管理数据中心100根据参考硬件负荷，选出硬件负荷最高的极大辅助数据中心110和硬件负荷最低的极小辅助数据中心110；

步骤S32，管理数据中心100从极大辅助数据中心110回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心110。

管理数据中心100比对各个辅助数据中心110的硬件负荷，选出硬件负荷最高的极大辅助数据中心110和硬件负荷最小的极小辅助数据中心110，管理数据中心100从极大辅助数据中心110回收一个或多个数据采集任务，回收的数据采集任务数目根据最高硬件负荷和最小硬件负荷决定；然后管理数据中心100将回收的数据采集任务在分配给极小辅助数据中心110，从而避免极大辅助数据中心110硬件负荷过高而导致处理速度过慢、甚至死机，同时避免极小辅助数据中心110硬件负荷过小而导致硬件资源的浪费。

进一步地，在本发明数据采集方法第三实施例的基础上，提出数据采集方法第四实施例，参照图4，在第四实施例中，将极大辅助数据中心110的硬件负荷作为极大硬件负荷，将极小辅助数据中心110的硬件负荷作为极小硬件负荷，

步骤S32包括：

步骤S321，管理数据中心100计算极大硬件负荷与极小硬件负荷的负荷差值；

步骤S322，若负荷差值大于负荷阈值，则管理数据中心100从极大辅助数据中心110回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心110。

管理数据中心100计算极大硬件负荷与极小硬件负荷的负荷差值，即负荷差值＝极大硬件负荷-极小硬件负荷，预设负荷阈值，比较负荷差值与负荷阈值，若负荷差值大于负荷阈值，表明极大辅助数据中心110的硬件负荷与极小辅助数据中心110的硬件负荷相差较大，硬件负荷不均现象较为严重，所以管理数据中心100从极大辅助数据中心110回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心110以缓和硬件负荷分布不均的问题；若负荷差值小于负荷阈值，表明极大辅助数据中心110的硬件负荷与极小辅助数据中心110的硬件负荷相差较小，硬件负荷分布较为均衡，无需进行硬件负荷调整，从而只在硬件负荷分布不均较为严重时，才进行对应的数据采集任务的调整，提高了数据采集任务调整的准确性和及时性。

进一步地，在本发明数据采集方法第四实施例的基础上，提出数据采集方法第五实施例，参照图5，在第五实施例中，管理数据中心100统计每个数据采集任务经历回收和再分配的调整次数，

步骤S322包括：

步骤S3221，若负荷差值大于负荷阈值，则管理数据中心100从极大辅助数据中心110回收一个或多个调整次数小于次数阈值的数据采集任务，将该数据采集任务作为待分配任务；

步骤S3222，管理数据中心100将待分配任务再分配给极小辅助数据中心110。

在管理数据中心100赋予每一个数据采集任务一个调整次数统计值，在对数据采集任务进行一次回收和再分配时，对该数据采集任务的调整次数加一，即一个数据采集任务被回收和再分配一次其调整次数自加一。

在本实施例中，在管理数据中心100回收数据采集任务时，仅回收调整次数小于次数阈值的数据采集任务(即待分配任务)，然后将待分配任务再次分配到极小辅助数据中心110，即在某一数据采集任务的调整次数大于次数阈值时，则该数据采集任务不会再被回收再分配，直到对应辅助数据中心110执行完该数据采集任务，从而避免一个数据采集任务多次在辅助数据中心110之间回收和再分配，而无法及时得到执行。

本发明还提供一种分布式数据系统，在分布式数据系统第一实施例中，参照图6，分布式数据系统包括多个相互通信连接的数据中心和各个数据中心下属的远程终端300，数据中心包括管理数据中心100和辅助数据中心100，可将最早启动数据采集进程的数据中心作为管理数据中心100，分布式数据系统中其它数据中心作为辅助数据中心110，

管理数据中心100包括：

任务均分模块10，用于将采集各个远程终端300上传数据的数据采集任务平均分配给各个辅助数据中心110执行，其中一个远程终端300对应一个数据采集任务；

分布式数据系统中的各个数据中心之间的通讯结构可为星型、网型等，优选地，各个数据中心与一网络互联设备200(如交换机、集线器等)连接，下属各个远程终端300也与网络互联设备200连接，本发明引进数据采集进程用以管理数据中心100进行数据采集的过程，每个数据中心上都运行一个数据采集进程，某一数据中心的管理进程启动时，若发现其它数据中心没有数据采集进程在运行，则该数据采集进程作为主数据采集进程，从而主数据采集进程对应的数据中心作为管理数据中心100，其它数据中心则作为辅助数据中心110，辅助数据中心110上运行的数据采集进程作为从数据采集进程；此处管理数据中心100和辅助数据中心110只是进程的主辅关系，每个数据中心上处理的数据采集任务没有主辅之分。

管理数据中心100对应一个远程终端300一个数据采集任务，任务均分模块10将采集各远程终端300上传数据的数据采集任务平均分配给各个辅助数据中心110执行，此处的平均分配可以理解为：为每个辅助数据中心110分配平均数个数据采集任务，其中平均数为数据采集任务总数除以数据中心总数；当然，平均分配也可以是其它方式，只要大致实现将数据采集任务均为到各个辅助数据中心110即可，例如逐个将数据采集任务随机分配到各个辅助数据中心110。

负荷获取模块20，用于每间隔预设时长获取一次各个辅助数据中心110处理数据采集任务的硬件负荷，将该硬件负荷作为参考硬件负荷；

动态调节模块30，用于根据参考硬件负荷，动态调整各个辅助数据中心110执行的数据采集任务，以均衡各辅助数据中心110的硬件负载。

数据中心在执行对数据采集任务之前，是无法知晓哪个数据采集任务比较费时、哪个数据采集任务比较简单的，并各个数据中心的硬件处理能力也不尽相同，所以各数据中心(包括管理数据中心100和辅助管理中心)因处理数据采集任务所产生的硬件负荷不可能持续保持均衡，所以需进一步动态调整。

硬件负荷可包括CPU负荷、内存负荷等中一项或多项，优先选择CPU负荷作为硬件负荷，数据中心对数据采集任务的处理时间越长，则硬件负荷越高，负荷获取模块20每间隔预设时长(例如3分钟)获取一次各辅助数据中心110的硬件负荷(即参考硬件负荷)，然后动态调节模块30根据各个辅助数据中心110的参考硬件负荷，动态调整各个辅助数据中心110执行的数据采集任务，其中硬件负荷高的辅助数据中心110的数据采集任务向硬件负荷低的辅助数据中心110转移。

辅助数据中心110，每间隔预设时长向当前的管理数据中心100发送当前处理数据采集任务的硬件负荷。

在本实施例中，通过确定管理数据中心100，并且任务均分模块10先将数据采集任务平均分配到辅助数据中心110，然后负荷获取模块20获取各个辅助数据中心110的参考硬件负荷，最后动态调节模块30根据参考硬件负荷，动态调整各个辅助数据中心110的数据采集任务，以实现各个辅助数据中心110的负载动态均衡，从而充分利用多个数据中心的硬件资源和网络带宽，并行地处理多个远程终端300的数据采集任务，从而加快了数据采集任务的处理速度，数据中心能够及时采集所需的目标数据，避免因目标数据采集不及时所导致的目标数据采集不完整的问题。

进一步地，在本发明分布式数据系统第一实施例的基础上，提出分布式数据系统第二实施例，在第二实施例中，参照图7，管理数据中心100还包括：

替换模块40，用于当管理数据中心100发生故障，提取当前管理数据中心100运行中生成的替换者信息，并将替换者信息对应的辅助数据中心110作为新的管理数据中心100。

在数据中心被作为管理数据中心100时，该管理数据中心100中保存有替换者信息(即替换数据中心的信息)，当管理数据中心100发生故障时，替换模块40直接提取当前管理数据中心100中的替换者信息，并将替换者信息对应的辅助数据中心110作为新的管理数据中心100，避免因管理数据中心100发生故障，出现两台管理数据中心100或无管理数据中心100的情形而影响数据采集任务的执行和分配。此外，需说明的是，发生故障的管理数据中心100在被取消作为管理数据中心100时会释放自己处理的数据采集任务，新的管理数据中心100回收上一届管理数据中心100释放的数据采集任务以再次分配给辅助数据中心110。

优选地，在本发明分布式数据系统第二实施例的基础上，管理数据中心100还包括还包括：

修复模块50，用于对发生故障的数据中心进行修复，并向预设维护端输出事件提示。

新的管理数据中心100的修复模块50对发生故障的数据中心(即前一届的管理数据中心)进行修复，该修复包括软件修复和/或硬件修复，并向预设的维护端输出事件提示，以告知系统维护人员故障情况。

具体地，修复模块50包括：

数据修复单元51，用于在成为新的管理数据中心时，使用预存的正确程序内容对发生故障的数据中心的程序内容进行数据修复；

硬件修复单元52，用于在未检测到发生故障的数据中心基于进行数据修复后的程序发送的响应消息时，复位重启发生故障的数据中心；

第一提示单元53，用于在检测到复位重启后的发生故障的数据中心发送的响应消息时，判定发生故障的数据中心发生软件失效，输出第一事件提示；

第二提示单元54，用于在未检测到复位重启后的发生故障的数据中心发送的响应消息时，判定发生故障的数据中心发生硬件失效，输出第二事件提示。

数据中心的程序内容一般是固定不变的，在确定管理数据中心发生故障之后，数据修复单元51使用预存的正确程序内容对发生故障的数据中心的程序内容进行数据修复，若发生故障的数据中心在基于正确程序内容进行数据修复后，能够向当前的管理数据中心发送响应消息，即管理数据中心检测到发生故障的数据中心基于进行数据修复后的程序发送的响应消息，则第一提示单元53判定发生故障的数据中心发生软件失效，向维护终端输出第一事件提示，该第一事件提示用于向维护终端报告发生故障的数据中心是程序软件失效，提示维护人员注意对发生故障的数据中心进行软件方面的维护，从而为维护人员提供较为准确的故障检测结果，以及自动解决发生故障的数据中心软件方面的失效问题。

在对发生故障的数据中心进行软件数据修复之后，若还是未检测到未检测到发生故障的数据中心基于进行数据修复后的程序发送的响应消息，此时可推测发生故障的数据中心出现硬件上问题，则硬件修复单元52复位并重启失效数据节点；若检测到复位重启后的发生故障的数据中心发送的响应消息，表明发生故障的数据中心内部软件程序在运行上出了问题，则第一提示单元53判定发生故障的数据中心发生软件失效，输出第一事件提示；若还是未检测到复位重启后的发生故障的数据中心发送的响应消息，即对发生故障的数据中心进行数据修复和复位重启之后，发生故障的数据中心还是不能正常发送响应消息，则第二提示单元54判定发生故障的数据中心发生硬件失效，输出第二事件提示，该第二事件提示用于向维护终端报告发生故障的数据中心是存储设备硬件失效，提示维护人员注意对发生故障的数据中心进行硬件方面的维护，从而为维护人员提供较为准确的故障检测结果，以便维护人员及时准备数据中心硬件维护所需的工具和耗材。

进一步地，在本发明分布式数据系统第二实施例的基础上，提出分布式数据系统第三实施例，在第三实施例中，参照图8，动态调节模块30包括：

筛选单元31，用于根据参考硬件负荷，选出硬件负荷最高的极大辅助数据中心110和硬件负荷最低的极小辅助数据中心110；

再分配单元32，用于从极大辅助数据中心110回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心110。

筛选单元31比对各个辅助数据中心110的硬件负荷，选出硬件负荷最高的极大辅助数据中心110和硬件负荷最小的极小辅助数据中心110，再分配单元32从极大辅助数据中心110回收一个或多个数据采集任务，回收的数据采集任务数目根据最高硬件负荷和最小硬件负荷决定；然后再分配单元32将回收的数据采集任务在分配给极小辅助数据中心110，从而避免极大辅助数据中心110硬件负荷过高而导致处理速度过慢、甚至死机，同时避免极小辅助数据中心110硬件负荷过小而导致硬件资源的浪费。

进一步地，在本发明分布式数据系统第三实施例的基础上，提出分布式数据系统第四实施例，参照图9，在第四实施例中，将极大辅助数据中心110的硬件负荷作为极大硬件负荷，将极小辅助数据中心110的硬件负荷作为极小硬件负荷，

再分配单元32包括：

差值计算子单元321，用于计算极大硬件负荷与极小硬件负荷的负荷差值；

回收分配子单元322，用于在负荷差值大于负荷阈值时，则从极大辅助数据中心110回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心110。

差值计算子单元321计算极大硬件负荷与极小硬件负荷的负荷差值，即负荷差值＝极大硬件负荷—极小硬件负荷，预设负荷阈值，比较负荷差值与负荷阈值，若负荷差值大于负荷阈值，表明极大辅助数据中心110的硬件负荷与极小辅助数据中心110的硬件负荷相差较大，硬件负荷不均现象较为严重，所以回收分配子单元322从极大辅助数据中心110回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心110以缓和硬件负荷分布不均的问题；若负荷差值小于负荷阈值，表明极大辅助数据中心110的硬件负荷与极小辅助数据中心110的硬件负荷相差较小，硬件负荷分布较为均衡，无需进行硬件负荷调整，从而只在硬件负荷分布不均较为严重时，才进行对应的数据采集任务的调整，提高了数据采集任务调整的准确性和及时性。

进一步地，在本发明分布式数据系统第四实施例的基础上，提出分布式数据系统第五实施例，在第五实施例中，管理数据中心100统计每个数据采集任务经历回收和再分配的调整次数，

回收分配子单元322还用于：

从极大辅助数据中心110回收一个或多个调整次数小于次数阈值的数据采集任务，将该数据采集任务作为待分配任务；

将待分配任务再分配给极小辅助数据中心110。

在管理数据中心100赋予每一个数据采集任务一个调整次数统计值，在对数据采集任务进行一次回收和再分配时，对该数据采集任务的调整次数加一，即一个数据采集任务被回收和再分配一次其调整次数自加一。

在本实施例中，在管理数据中心100回收数据采集任务时，回收分配子单元322仅回收调整次数小于次数阈值的数据采集任务(即待分配任务)，然后将待分配任务再次分配到极小辅助数据中心110，即在某一数据采集任务的调整次数大于次数阈值时，则该数据采集任务不会再被回收再分配，直到对应辅助数据中心110执行完该数据采集任务，从而避免一个数据采集任务多次在辅助数据中心110之间回收和再分配，而无法及时得到执行。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种分布式数据系统的数据采集方法，其特征在于，所述分布式数据系统包括多个相互通信连接的数据中心和各个数据中心下属的远程终端，数据中心包括管理数据中心和辅助数据中心，将最早启动数据采集进程的数据中心作为管理数据中心，分布式数据系统中其它数据中心作为辅助数据中心；

该分布式数据系统的数据采集方法包括：

管理数据中心将采集各个远程终端上传数据的数据采集任务平均分配给各个辅助数据中心执行，其中一个远程终端对应一个数据采集任务；

管理数据中心每间隔预设时长获取一次各个辅助数据中心处理数据采集任务的硬件负荷，将该硬件负荷作为参考硬件负荷；

管理数据中心根据所述参考硬件负荷，选出硬件负荷最高的极大辅助数据中心和硬件负荷最低的极小辅助数据中心；极大辅助数据中心的硬件负荷作为极大硬件负荷，将极小辅助数据中心的硬件负荷作为极小硬件负荷，

管理数据中心计算所述极大硬件负荷与极小硬件负荷的负荷差值；

若所述负荷差值大于负荷阈值，则管理数据中心从所述极大辅助数据中心回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心，以均衡各辅助数据中心的硬件负载。

2.如权利要求1所述的分布式数据系统的数据采集方法，其特征在于，所述分布式数据系统的数据采集方法还包括：

当管理数据中心发生故障时，提取当前管理数据中心运行中生成的替换者信息，并将替换者信息对应的辅助数据中心作为新的管理数据中心。

3.如权利要求1或2所述的分布式数据系统的数据采集方法，其特征在于，管理数据中心统计每个数据采集任务经历回收和再分配的调整次数，

所述管理数据中心从所述极大辅助数据中心回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心的步骤包括：

管理数据中心从所述极大辅助数据中心回收一个或多个调整次数小于次数阈值的数据采集任务，将该数据采集任务作为待分配任务；

管理数据中心将所述待分配任务再分配给极小辅助数据中心。

4.一种分布式数据系统，其特征在于，所述分布式数据系统包括多个相互通信连接的数据中心和各个数据中心下属的远程终端，数据中心包括管理数据中心和辅助数据中心，将最早启动数据采集进程的数据中心作为管理数据中心，分布式数据系统中其它数据中心作为辅助数据中心；

所述管理数据中心包括：

任务均分模块，用于将采集各个远程终端上传数据的数据采集任务平均分配给各个辅助数据中心执行，其中一个远程终端对应一个数据采集任务；

负荷获取模块，用于每间隔预设时长获取一次各个辅助数据中心处理数据采集任务的硬件负荷，将该硬件负荷作为参考硬件负荷；

动态调节模块，用于根据所述参考硬件负荷，动态调整各个辅助数据中心执行的数据采集任务，以均衡各辅助数据中心的硬件负载；

所述辅助数据中心每间隔预设时长向当前的管理数据中心发送当前处理数据采集任务的硬件负荷；

所述动态调节模块包括：

筛选单元，用于根据所述参考硬件负荷，选出硬件负荷最高的极大辅助数据中心和硬件负荷最低的极小辅助数据中心；

再分配单元，用于从所述极大辅助数据中心回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心；

将极大辅助数据中心的硬件负荷作为极大硬件负荷，将极小辅助数据中心的硬件负荷作为极小硬件负荷，所述再分配单元包括：

差值计算子单元，用于计算所述极大硬件负荷与极小硬件负荷的负荷差值；

回收分配子单元，用于在所述负荷差值大于负荷阈值时，则从所述极大辅助数据中心回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心。

5.如权利要求4所述的分布式数据系统，其特征在于，所述管理数据中心还包括：

替换模块，用于当管理数据中心发生故障时，提取当前管理数据中心运行中生成的替换者信息，并将替换者信息对应的辅助数据中心作为新的管理数据中心。

6.如权利要求4所述的分布式数据系统，其特征在于，管理数据中心统计每个数据采集任务经历回收和再分配的调整次数，

所述回收分配子单元还用于：

从所述极大辅助数据中心回收一个或多个调整次数小于次数阈值的数据采集任务，将该数据采集任务作为待分配任务；

将所述待分配任务再分配给极小辅助数据中心。