CN106027649B - 分布式数据系统的数据采集方法及分布式数据系统 - Google Patents

Abstract

本发明公开了一种数据采集方法和分布式数据系统，分布式数据系统包括多个相互通信连接的数据中心和各个数据中心下属的远程终端，数据中心包括管理数据中心和辅助数据中心，该方法包括：管理数据中心向各个远程终端发送当前时刻产生的随机数和预存的加密密钥；管理数据中心将随机数和加密密钥发送至各个辅助数据中心；管理数据中心将采集各个远程终端上传的密文目标数据的数据采集任务平均分配给各个辅助数据中心。本发明实现目标数据在远程终端与数据中心之间以密文形式可靠传输，防止目标数据在传输过程中被截获和破解，保证上传目标数据的安全性和可靠性。

Description

分布式数据系统的数据采集方法及分布式数据系统

技术领域

本发明涉及分布式系统技术领域，尤其涉及一种分布式数据系统的数据采集方法及分布式数据系统。

背景技术

现实中，每时每刻都产生大量的数据，有些需要分析，有些需要存储，所有的这些需要处理的数据数量是庞大，具有相似性的，所以需要对这些大数据进行分析处理，采集需要的数据。

在现有技术中，一般是采用数据采集机对远程终端生成的目标数据(例如性能数据、告警数据、流量数据、业务数据等)进行采集，数据采集机并行采集或逐个采集远程终端的目标数据，然后数据采集机将目标数据上传至数据中心，但是，由于远程终端直接将生成的目标数据直接上传，目标数据可能在上传过程中被截获、被破解，导致上传目标数据的不安全、不可靠。

发明内容

本发明的主要目的在于提供一种分布式数据系统的数据采集方法及分布式数据系统，旨在解决现有数据中心采集的目标数据不安全、不可靠的技术问题。

为实现上述目的，本发明提供的一种分布式数据系统的数据采集方法，所述分布式数据系统包括多个相互通信连接的数据中心和各个数据中心下属的远程终端，数据中心包括管理数据中心和辅助数据中心，

该分布式数据系统的数据采集方法包括：

管理数据中心向各个远程终端发送当前时刻产生的随机数和预存的加密密钥，以供远程终端基于所述随机数和加密密钥加密对待上传的目标数据进行加密；

管理数据中心将所述随机数和加密密钥发送至各个辅助数据中心；

管理数据中心基于一个远程终端对应一个数据采集任务的规则，将采集各个远程终端上传的密文目标数据的数据采集任务平均分配给各个辅助数据中心，以供辅助数据中心基于接收的随机数和加密密钥执行数据采集任务。

优选地，所述管理数据中心基于一个远程终端对应一个数据采集任务的规则，将采集各个远程终端上传的密文目标数据的数据采集任务平均分配给各个辅助数据中心的步骤之后还包括：

管理数据中心每间隔预设时长获取一次各个辅助数据中心处理数据采集任务的硬件负荷，将该硬件负荷作为参考硬件负荷；

管理数据中心根据所述参考硬件负荷，动态调整各个辅助数据中心执行的数据采集任务，以均衡各辅助数据中心的硬件负载。

优选地，所述分布式数据系统的数据采集方法还包括：

当管理数据中心发生故障时，提取当前管理数据中心运行中生成的替换者信息，并将替换者信息对应的辅助数据中心作为新的管理数据中心。

优选地，所述管理数据中心根据所述参考硬件负荷，动态调整各个辅助数据中心执行的数据采集任务的步骤包括：

管理数据中心根据所述参考硬件负荷，选出硬件负荷最高的极大辅助数据中心和硬件负荷最低的极小辅助数据中心，并将极大辅助数据中心的硬件负荷作为极大硬件负荷，将极小辅助数据中心的硬件负荷作为极小硬件负荷，

管理数据中心计算所述极大硬件负荷与极小硬件负荷的负荷差值；

若所述负荷差值大于负荷阈值，则管理数据中心从所述极大辅助数据中心回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心。

优选地，管理数据中心统计每个数据采集任务经历回收和再分配的调整次数，

所述管理数据中心从所述极大辅助数据中心回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心的步骤包括：

管理数据中心从所述极大辅助数据中心回收一个或多个调整次数小于次数阈值的数据采集任务，将该数据采集任务作为待分配任务；

管理数据中心将所述待分配任务再分配给极小辅助数据中心。

本发明还提供一种分布式数据系统，所述分布式数据系统包括多个相互通信连接的数据中心和各个数据中心下属的远程终端，数据中心包括管理数据中心和辅助数据中心，

所述管理数据中心包括：

加密模块，用于向各个远程终端发送当前时刻产生的随机数和预存的加密密钥，以供远程终端基于所述随机数和加密密钥加密对待上传的目标数据进行加密；

发送模块，用于将所述随机数和加密密钥发送至各个辅助数据中心；

任务均分模块，用于基于一个远程终端对应一个数据采集任务的规则，将采集各个远程终端上传的密文目标数据的数据采集任务平均分配给各个辅助数据中心；

所述辅助数据中心基于接收的随机数和加密密钥执行数据采集任务。

优选地，所述管理数据中心还包括

负荷获取模块，用于每间隔预设时长获取一次各个辅助数据中心处理数据采集任务的硬件负荷，将该硬件负荷作为参考硬件负荷；

动态调节模块，用于根据所述参考硬件负荷，动态调整各个辅助数据中心执行的数据采集任务，以均衡各辅助数据中心的硬件负载；

所述辅助数据中心每间隔预设时长向当前的管理数据中心发送当前处理数据采集任务的硬件负荷。

优选地，所述管理数据中心还包括：

替换模块，用于当管理数据中心发生故障时，提取当前管理数据中心运行中生成的替换者信息，并将替换者信息对应的辅助数据中心作为新的管理数据中心。

优选地，所述动态调节模块包括：

筛选单元，用于根据所述参考硬件负荷，选出硬件负荷最高的极大辅助数据中心和硬件负荷最低的极小辅助数据中心，其中将极大辅助数据中心的硬件负荷作为极大硬件负荷，将极小辅助数据中心的硬件负荷作为极小硬件负荷；

再分配单元用于：

计算所述极大硬件负荷与极小硬件负荷的负荷差值；

在所述负荷差值大于负荷阈值时，则从所述极大辅助数据中心回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心。

优选地，管理数据中心统计每个数据采集任务经历回收和再分配的调整次数，

所述再分配单元还用于：

从所述极大辅助数据中心回收一个或多个调整次数小于次数阈值的数据采集任务，将该数据采集任务作为待分配任务；

将所述待分配任务再分配给极小辅助数据中心。

本发明通过管理数据中心向各个远程终端和辅助数据中心发送随机数和加密密钥，供远程终端基于随机数和加密密钥对目标数据进行加密后再上传管理数据中心，管理数据中心平均分配数据采集任务至各个辅助数据中心，从而各个辅助数据中心基于随机数和加密密钥解密和采集远程终端上传的密文目标数据，从而辅助数据中心执行数据采集任务以完成目标数据的采集，实现目标数据在远程终端与数据中心之间以密文形式可靠传输，防止目标数据在传输过程中被截获和破解，保证上传目标数据的安全性和可靠性。

附图说明

图1为本发明分布式数据系统的数据采集方法第一实施例的流程示意图；

图2为本发明分布式数据系统的数据采集方法第二实施例的流程示意图；

图3为本发明分布式数据系统的数据采集方法第三实施例的流程示意图；

图4为本发明分布式数据系统的数据采集方法第三实施例优选方案中新的管理数据中心对发生故障的数据中心进行修复，并向预设维护端输出事件提示的步骤的细化流程示意图；

图5为本发明分布式数据系统的数据采集方法第四实施例中管理数据中心根据参考硬件负荷，动态调整各个辅助数据中心执行的数据采集任务，以均衡各辅助数据中心的硬件负载的步骤的细化流程示意图；

图6为本发明分布式数据系统的数据采集方法第四实施例优选方案中管理数据中心从极大辅助数据中心回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心的细化流程示意图；

图7为图6中若负荷差值大于负荷阈值，则管理数据中心从极大辅助数据中心回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心的细化流程示意图；

图8为本发明分布式数据系统第一实施例的系统框架示意图；

图9为本发明分布式数据系统第二实施例中管理数据中心的功能模块示意图；

图10为本发明分布式数据系统第三实施例中管理数据中心的功能模块示意图；

图11为本发明分布式数据系统第三实施例优选方案中管理数据中心的功能模块示意图；

图12为图11中修复模块的细化功能模块示意图；

图13为本发明分布式数据系统第四实施例优选方案中动态调节模块的细化功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种分布式数据系统的数据采集方法(以下简称数据采集方法)，在本发明数据采集方法的第一实施例中，参照图1和图8，分布式数据系统包括多个相互通信连接的数据中心和各个数据中心下属的远程终端300，数据中心包括管理数据中心100和辅助数据中心100，可将最早启动数据采集进程的数据中心作为管理数据中心100，分布式数据系统中其它数据中心作为辅助数据中心110，该数据采集方法包括：

步骤S10，管理数据中心向各个远程终端发送当前时刻产生的随机数和预存的加密密钥，以供远程终端基于随机数和加密密钥加密对待上传的目标数据进行加密；

分布式数据系统中的各个数据中心之间的通讯结构可为星型、网型等，优选地，各个数据中心与一网络互联设备200(如交换机、集线器等)连接，下属各个远程终端300也与网络互联设备200连接，本发明引进数据采集进程用以管理数据中心100进行数据采集的过程，每个数据中心上都运行一个数据采集进程，某一数据中心的管理进程启动时，若发现其它数据中心没有数据采集进程在运行，则该数据采集进程作为主数据采集进程，从而主数据采集进程对应的数据中心作为管理数据中心100，其它数据中心则作为辅助数据中心110，辅助数据中心110上运行的数据采集进程作为从数据采集进程；此处管理数据中心100和辅助数据中心110只是进程的主辅关系，每个数据中心上处理的数据采集任务没有主辅之分。

管理数据中心100根据各个远程终端的物理地址，向各个远程终端300发送当前时刻产生的随机数和预存的加密密钥，远程终端300在接收到管理数据中心100发送的随机数和加密密钥后，基于该随机数和加密密钥对生成的目标数据进行加密，形成密文目标数据，以保证目标数据在上传至管理数据中心100或辅助数据中心110过程中数据的安全性。

管理数据中心100内部设置一个随机数发生器，在管理数据中心100需要分配数据采集任务时，控制随机数发生器生成一个随机数，该随机数作为当前随机数，即管理数据中心100在其下属的远程终端300变更时，都会生成一个对应的随机数。可选地，预设的随机数发生器为真随机数发生器，即随机数发生器是基于物理事件得到的随机数，而不是基于软件算法得到的随机数。

步骤S20，管理数据中心将随机数和加密密钥发送至各个辅助数据中心；

步骤S30，管理数据中心基于一个远程终端对应一个数据采集任务的规则，将采集各个远程终端上传的密文目标数据的数据采集任务平均分配给各个辅助数据中心，以供辅助数据中心基于接收的随机数和加密密钥执行数据采集任务。

管理数据中心100根据辅助数据中心110的物理地址，向各个辅助数据中心110发送随机数和加密密钥，以供辅助数据中心110保存并备用。在辅助数据中心110开始着手处理数据采集任务时，根据随机数和加密密钥对采集的密文目标数据进行解密，从而辅助数据中心110得到对应的目标数据。

管理数据中心100对应一个远程终端300一个数据采集任务，将采集各远程终端300上传数据的数据采集任务平均分配给各个辅助数据中心110执行，此处的平均分配可以理解为：为每个辅助数据中心110分配平均数个数据采集任务，其中平均数为数据采集任务总数除以数据中心总数；当然，平均分配也可以是其它方式，只要大致实现将数据采集任务均为到各个辅助数据中心110即可，例如逐个将数据采集任务随机分配到各个辅助数据中心110。

在本实施例中，通过管理数据中心100向各个远程终端300和辅助数据中心110发送随机数和加密密钥，供远程终端300基于随机数和加密密钥对目标数据进行加密后再上传管理数据中心100，管理数据中心100平均分配数据采集任务至各个辅助数据中心110，从而各个辅助数据中心110基于随机数和加密密钥解密和采集远程终端300上传的密文目标数据，从而辅助数据中心执行数据采集任务以完成目标数据的采集，实现目标数据在远程终端300与数据中心(即管理数据中心100和辅助数据中心110)之间以密文形式可靠传输，防止目标数据在传输过程中被截获和破解，保证上传目标数据的安全性和可靠性。

进一步地，在本发明数据采集方法第一实施例的基础上，提出数据采集方法第二实施例，参照图2，在第二实施例中，在步骤S30之后还包括：

步骤S40，管理数据中心每间隔预设时长获取一次各个辅助数据中心处理数据采集任务的硬件负荷，将该硬件负荷作为参考硬件负荷；

步骤S50，管理数据中心根据参考硬件负荷，动态调整各个辅助数据中心执行的数据采集任务，以均衡各辅助数据中心的硬件负载。

数据中心在执行对数据采集任务之前，是无法知晓哪个数据采集任务比较费时、哪个数据采集任务比较简单的，并各个数据中心的硬件处理能力也不尽相同，所以各数据中心(包括管理数据中心100和辅助管理中心)因处理数据采集任务所产生的硬件负荷不可能持续保持均衡，所以需进一步动态调整。

硬件负荷可包括CPU负荷、内存负荷等中一项或多项，优先选择CPU负荷作为硬件负荷，数据中心对数据采集任务的处理时间越长，则硬件负荷越高，管理数据中心100每间隔预设时长(例如3分钟)获取一次各辅助数据中心110的硬件负荷(即参考硬件负荷)，然后管理数据中心100根据各个辅助数据中心110的参考硬件负荷，动态调整各个辅助数据中心110执行的数据采集任务，其中硬件负荷高的辅助数据中心110的数据采集任务向硬件负荷低的辅助数据中心110转移。

在本实施例中，通过管理数据中心100在将数据采集任务平均分配到辅助数据中心110之后，再获取各个辅助数据中心110的参考硬件负荷，最后根据参考硬件负荷，动态调整各个辅助数据中心110的数据采集任务，以实现各个辅助数据中心110的负载动态均衡，从而充分利用多个数据中心的硬件资源和网络带宽，并行地处理多个远程终端300的数据采集任务，从而加快了数据采集任务的处理速度，数据中心能够及时采集所需的目标数据，避免因目标数据采集不及时所导致的目标数据采集不完整的问题。

进一步地，在本发明数据采集方法第二实施例的基础上，提出数据采集方法第三实施例，参照图3，在第三实施例中，数据采集方法还包括：

步骤S60，当管理数据中心发生故障时，提取当前管理数据中心运行中生成的替换者信息，并将替换者信息对应的辅助数据中心作为新的管理数据中心。

在数据中心被作为管理数据中心100时，该管理数据中心100中保存有替换者信息(即替换数据中心的信息)，当管理数据中心100发生故障时，直接提取当前管理数据中心100中的替换者信息，并将替换者信息对应的辅助数据中心110作为新的管理数据中心100，避免因管理数据中心100发生故障，出现两台管理数据中心100或无管理数据中心100的情形而影响数据采集任务的执行和分配。此外，需说明的是，发生故障的管理数据中心100在被取消作为管理数据中心100时会释放自己处理的数据采集任务，新的管理数据中心100回收上一届管理数据中心100释放的数据采集任务以再次分配给辅助数据中心110。

优选地，在本发明数据采集方法第三实施例的基础上，步骤S60之后还包括：

步骤S70，新的管理数据中心对发生故障的数据中心进行修复，并向预设维护端输出事件提示。

新的管理数据中心100对发生故障的数据中心(即前一届的管理数据中心)进行修复，该修复包括软件修复和/或硬件修复，并向预设的维护端输出事件提示，以告知系统维护人员故障情况

具体地，参照图4，步骤S70包括：

步骤S71，新的管理数据中心使用预存的正确程序内容对发生故障的数据中心的程序内容进行数据修复；

步骤S72，若未检测到发生故障的数据中心基于进行数据修复后的程序发送的响应消息，则复位重启发生故障的数据中心；

步骤S73，若检测到复位重启后的发生故障的数据中心发送的响应消息，则判定发生故障的数据中心发生软件失效，输出第一事件提示；

步骤S74，若未检测到复位重启后的发生故障的数据中心发送的响应消息，则判定发生故障的数据中心发生硬件失效，输出第二事件提示。

数据中心的程序内容一般是固定不变的，在确定管理数据中心发生故障之后，使用预存的正确程序内容对发生故障的数据中心的程序内容进行数据修复，若发生故障的数据中心在基于正确程序内容进行数据修复后，能够向当前的管理数据中心发送响应消息，即管理数据中心检测到发生故障的数据中心基于进行数据修复后的程序发送的响应消息，则判定发生故障的数据中心发生软件失效，向维护终端输出第一事件提示，该第一事件提示用于向维护终端报告发生故障的数据中心是程序软件失效，提示维护人员注意对发生故障的数据中心进行软件方面的维护，从而为维护人员提供较为准确的故障检测结果，以及自动解决发生故障的数据中心软件方面的失效问题。

在对发生故障的数据中心进行软件数据修复之后，若还是未检测到未检测到发生故障的数据中心基于进行数据修复后的程序发送的响应消息，此时可推测发生故障的数据中心出现硬件上问题，则复位并重启失效数据节点；若检测到复位重启后的发生故障的数据中心发送的响应消息，表明发生故障的数据中心内部软件程序在运行上出了问题，则判定发生故障的数据中心发生软件失效，输出第一事件提示；若还是未检测到复位重启后的发生故障的数据中心发送的响应消息，即对发生故障的数据中心进行数据修复和复位重启之后，发生故障的数据中心还是不能正常发送响应消息，则判定发生故障的数据中心发生硬件失效，输出第二事件提示，该第二事件提示用于向维护终端报告发生故障的数据中心是存储设备硬件失效，提示维护人员注意对发生故障的数据中心进行硬件方面的维护，从而为维护人员提供较为准确的故障检测结果，以便维护人员及时准备数据中心硬件维护所需的工具和耗材。

进一步地，在本发明数据采集方法第三实施例的基础上，提出数据采集方法第四实施例，参照图5，在第四实施例中，步骤S50包括：

步骤S51，管理数据中心根据参考硬件负荷，选出硬件负荷最高的极大辅助数据中心和硬件负荷最低的极小辅助数据中心；

步骤S52，管理数据中心从极大辅助数据中心回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心。

管理数据中心100比对各个辅助数据中心110的硬件负荷，选出硬件负荷最高的极大辅助数据中心110和硬件负荷最小的极小辅助数据中心110，管理数据中心100从极大辅助数据中心110回收一个或多个数据采集任务，回收的数据采集任务数目根据最高硬件负荷和最小硬件负荷决定；然后管理数据中心100将回收的数据采集任务在分配给极小辅助数据中心110，从而避免极大辅助数据中心110硬件负荷过高而导致处理速度过慢、甚至死机，同时避免极小辅助数据中心110硬件负荷过小而导致硬件资源的浪费。

优选地，在本发明数据采集方法第四实施例的基础上，参照图4，将极大辅助数据中心110的硬件负荷作为极大硬件负荷，将极小辅助数据中心110的硬件负荷作为极小硬件负荷，参照图6，

步骤S52包括：

步骤S521，管理数据中心计算极大硬件负荷与极小硬件负荷的负荷差值；

步骤S522，若负荷差值大于负荷阈值，则管理数据中心从极大辅助数据中心回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心。

管理数据中心100计算极大硬件负荷与极小硬件负荷的负荷差值，即负荷差值＝极大硬件负荷-极小硬件负荷，预设负荷阈值，比较负荷差值与负荷阈值，若负荷差值大于负荷阈值，表明极大辅助数据中心110的硬件负荷与极小辅助数据中心110的硬件负荷相差较大，硬件负荷不均现象较为严重，所以管理数据中心100从极大辅助数据中心110回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心110以缓和硬件负荷分布不均的问题；若负荷差值小于负荷阈值，表明极大辅助数据中心110的硬件负荷与极小辅助数据中心110的硬件负荷相差较小，硬件负荷分布较为均衡，无需进行硬件负荷调整，从而只在硬件负荷分布不均较为严重时，才进行对应的数据采集任务的调整，提高了数据采集任务调整的准确性和及时性。

进一步地，在本发明数据采集方法第四实施例优选方案的基础上，提出数据采集方法第五实施例，参照图7，在第五实施例中，管理数据中心100统计每个数据采集任务经历回收和再分配的调整次数，

步骤S522包括：

步骤S5221，若负荷差值大于负荷阈值，则管理数据中心从极大辅助数据中心回收一个或多个调整次数小于次数阈值的数据采集任务，将该数据采集任务作为待分配任务；

步骤S5222，管理数据中心将待分配任务再分配给极小辅助数据中心。

在管理数据中心100赋予每一个数据采集任务一个调整次数统计值，在对数据采集任务进行一次回收和再分配时，对该数据采集任务的调整次数加一，即一个数据采集任务被回收和再分配一次其调整次数自加一。

在本实施例中，在管理数据中心100回收数据采集任务时，仅回收调整次数小于次数阈值的数据采集任务(即待分配任务)，然后将待分配任务再次分配到极小辅助数据中心110，即在某一数据采集任务的调整次数大于次数阈值时，则该数据采集任务不会再被回收再分配，直到对应辅助数据中心110执行完该数据采集任务，从而避免一个数据采集任务多次在辅助数据中心110之间回收和再分配，而无法及时得到执行。

本发明还提供一种分布式数据系统，在分布式数据系统第一实施例中，参照图8，分布式数据系统包括多个相互通信连接的数据中心和各个数据中心下属的远程终端300，数据中心包括管理数据中心100和辅助数据中心100，可将最早启动数据采集进程的数据中心作为管理数据中心100，分布式数据系统中其它数据中心作为辅助数据中心110，

管理数据中心100包括：

加密模块10，用于向各个远程终端发送当前时刻产生的随机数和预存的加密密钥，以供远程终端基于所述随机数和加密密钥加密对待上传的目标数据进行加密；

分布式数据系统中的各个数据中心之间的通讯结构可为星型、网型等，优选地，各个数据中心与一网络互联设备200(如交换机、集线器等)连接，下属各个远程终端300也与网络互联设备200连接，本发明引进数据采集进程用以管理数据中心100进行数据采集的过程，每个数据中心上都运行一个数据采集进程，某一数据中心的管理进程启动时，若发现其它数据中心没有数据采集进程在运行，则该数据采集进程作为主数据采集进程，从而主数据采集进程对应的数据中心作为管理数据中心100，其它数据中心则作为辅助数据中心110，辅助数据中心110上运行的数据采集进程作为从数据采集进程；此处管理数据中心100和辅助数据中心110只是进程的主辅关系，每个数据中心上处理的数据采集任务没有主辅之分。

加密模块10根据各个远程终端的物理地址，向各个远程终端300发送当前时刻产生的随机数和预存的加密密钥，远程终端300在接收到管理数据中心100发送的随机数和加密密钥后，基于该随机数和加密密钥对生成的目标数据进行加密，形成密文目标数据，以保证目标数据在上传至管理数据中心100或辅助数据中心110过程中数据的安全性。

管理数据中心100内部设置一个随机数发生器，在管理数据中心100需要分配数据采集任务时，控制随机数发生器生成一个随机数，该随机数作为当前随机数，即管理数据中心100在其下属的远程终端300变更时，都会生成一个对应的随机数。可选地，预设的随机数发生器为真随机数发生器，即随机数发生器是基于物理事件得到的随机数，而不是基于软件算法得到的随机数。

发送模块20，用于将所述随机数和加密密钥发送至各个辅助数据中心；

任务均分模块30，用于基于一个远程终端对应一个数据采集任务的规则，将采集各个远程终端上传的密文目标数据的数据采集任务平均分配给各个辅助数据中心；

所述辅助数据中心110基于接收的随机数和加密密钥执行数据采集任务。

发送模块20根据辅助数据中心110的物理地址，向各个辅助数据中心110发送随机数和加密密钥，以供辅助数据中心110保存并备用。在辅助数据中心110开始着手处理数据采集任务时，根据随机数和加密密钥对采集的密文目标数据进行解密，从而辅助数据中心110得到对应的目标数据。

管理数据中心100对应一个远程终端300一个数据采集任务，任务均分模块10将采集各远程终端300上传数据的数据采集任务平均分配给各个辅助数据中心110执行，此处的平均分配可以理解为：为每个辅助数据中心110分配平均数个数据采集任务，其中平均数为数据采集任务总数除以数据中心总数；当然，平均分配也可以是其它方式，只要大致实现将数据采集任务均为到各个辅助数据中心110即可，例如逐个将数据采集任务随机分配到各个辅助数据中心110。

在本实施例中，通过加密模块10和发送模块20向各个远程终端300和辅助数据中心110发送随机数和加密密钥，供远程终端300基于随机数和加密密钥对目标数据进行加密后再上传管理数据中心100，任务均分模块30平均分配数据采集任务至各个辅助数据中心110，从而各个辅助数据中心110基于随机数和加密密钥解密和采集远程终端300上传的密文目标数据，从而辅助数据中心执行数据采集任务以完成目标数据的采集，实现目标数据在远程终端300与数据中心(即管理数据中心100和辅助数据中心110)之间以密文形式可靠传输，防止目标数据在传输过程中被截获和破解，保证上传目标数据的安全性和可靠性。

进一步地，在本发明分布式数据系统第一实施例的基础上，提出分布式数据系统第二实施例，参照图9，在第二实施例中，管理数据中心还包括：

负荷获取模块40，用于每间隔预设时长获取一次各个辅助数据中心处理数据采集任务的硬件负荷，将该硬件负荷作为参考硬件负荷；

动态调节模块50，用于根据参考硬件负荷，动态调整各个辅助数据中心执行的数据采集任务，以均衡各辅助数据中心的硬件负载。

数据中心在执行对数据采集任务之前，是无法知晓哪个数据采集任务比较费时、哪个数据采集任务比较简单的，并各个数据中心的硬件处理能力也不尽相同，所以各数据中心(包括管理数据中心100和辅助管理中心)因处理数据采集任务所产生的硬件负荷不可能持续保持均衡，所以需进一步动态调整。

硬件负荷可包括CPU负荷、内存负荷等中一项或多项，优先选择CPU负荷作为硬件负荷，数据中心对数据采集任务的处理时间越长，则硬件负荷越高，负荷获取模块40每间隔预设时长(例如3分钟)获取一次各辅助数据中心110的硬件负荷(即参考硬件负荷)，然后动态调节模块50根据各个辅助数据中心110的参考硬件负荷，动态调整各个辅助数据中心110执行的数据采集任务，其中硬件负荷高的辅助数据中心110的数据采集任务向硬件负荷低的辅助数据中心110转移。

辅助数据中心110，每间隔预设时长向当前的管理数据中心100发送当前处理数据采集任务的硬件负荷。

在本实施例中，通过任务均分模块10先将数据采集任务平均分配到辅助数据中心110，然后负荷获取模块40获取各个辅助数据中心110的参考硬件负荷，最后动态调节模块50根据参考硬件负荷，动态调整各个辅助数据中心110的数据采集任务，以实现各个辅助数据中心110的负载动态均衡，从而充分利用多个数据中心的硬件资源和网络带宽，并行地处理多个远程终端300的数据采集任务，从而加快了数据采集任务的处理速度，数据中心能够及时采集所需的目标数据，避免因目标数据采集不及时所导致的目标数据采集不完整的问题。

进一步地，在本发明分布式数据系统第二实施例的基础上，提出分布式数据系统第三实施例，参照图10，在第三实施例中，参照图7，管理数据中心100还包括：

替换模块60，用于当管理数据中心发生故障，提取当前管理数据中心运行中生成的替换者信息，并将替换者信息对应的辅助数据中心作为新的管理数据中心。

在数据中心被作为管理数据中心100时，该管理数据中心100中保存有替换者信息(即替换数据中心的信息)，当管理数据中心100发生故障时，替换模块60直接提取当前管理数据中心100中的替换者信息，并将替换者信息对应的辅助数据中心110作为新的管理数据中心100，避免因管理数据中心100发生故障，出现两台管理数据中心100或无管理数据中心100的情形而影响数据采集任务的执行和分配。此外，需说明的是，发生故障的管理数据中心100在被取消作为管理数据中心100时会释放自己处理的数据采集任务，新的管理数据中心100回收上一届管理数据中心100释放的数据采集任务以再次分配给辅助数据中心110。

优选地，参照图11，在本发明分布式数据系统第三实施例的基础上，管理数据中心100还包括还包括：

修复模块70，用于对发生故障的数据中心进行修复，并向预设维护端输出事件提示。

新的管理数据中心100的修复模块70对发生故障的数据中心(即前一届的管理数据中心)进行修复，该修复包括软件修复和/或硬件修复，并向预设的维护端输出事件提示，以告知系统维护人员故障情况。

具体地，参照图12，修复模块70包括：

数据修复单元71，用于在成为新的管理数据中心时，使用预存的正确程序内容对发生故障的数据中心的程序内容进行数据修复；

硬件修复单元72，用于在未检测到发生故障的数据中心基于进行数据修复后的程序发送的响应消息时，复位重启发生故障的数据中心；

第一提示单元73，用于在检测到复位重启后的发生故障的数据中心发送的响应消息时，判定发生故障的数据中心发生软件失效，输出第一事件提示；

第二提示单元74，用于在未检测到复位重启后的发生故障的数据中心发送的响应消息时，判定发生故障的数据中心发生硬件失效，输出第二事件提示。

数据中心的程序内容一般是固定不变的，在确定管理数据中心发生故障之后，数据修复单元71使用预存的正确程序内容对发生故障的数据中心的程序内容进行数据修复，若发生故障的数据中心在基于正确程序内容进行数据修复后，能够向当前的管理数据中心发送响应消息，即管理数据中心检测到发生故障的数据中心基于进行数据修复后的程序发送的响应消息，则第一提示单元73判定发生故障的数据中心发生软件失效，向维护终端输出第一事件提示，该第一事件提示用于向维护终端报告发生故障的数据中心是程序软件失效，提示维护人员注意对发生故障的数据中心进行软件方面的维护，从而为维护人员提供较为准确的故障检测结果，以及自动解决发生故障的数据中心软件方面的失效问题。

在对发生故障的数据中心进行软件数据修复之后，若还是未检测到未检测到发生故障的数据中心基于进行数据修复后的程序发送的响应消息，此时可推测发生故障的数据中心出现硬件上问题，则硬件修复单元72复位并重启失效数据节点；若检测到复位重启后的发生故障的数据中心发送的响应消息，表明发生故障的数据中心内部软件程序在运行上出了问题，则第一提示单元73判定发生故障的数据中心发生软件失效，输出第一事件提示；若还是未检测到复位重启后的发生故障的数据中心发送的响应消息，即对发生故障的数据中心进行数据修复和复位重启之后，发生故障的数据中心还是不能正常发送响应消息，则第二提示单元74判定发生故障的数据中心发生硬件失效，输出第二事件提示，该第二事件提示用于向维护终端报告发生故障的数据中心是存储设备硬件失效，提示维护人员注意对发生故障的数据中心进行硬件方面的维护，从而为维护人员提供较为准确的故障检测结果，以便维护人员及时准备数据中心硬件维护所需的工具和耗材。

进一步地，在本发明分布式数据系统第三实施例的基础上，提出分布式数据系统第四实施例，在第四实施例中，参照图13，动态调节模块50包括：

筛选单元51，用于根据参考硬件负荷，选出硬件负荷最高的极大辅助数据中心和硬件负荷最低的极小辅助数据中心；

再分配单元52，用于从极大辅助数据中心回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心。

筛选单元51比对各个辅助数据中心110的硬件负荷，选出硬件负荷最高的极大辅助数据中心110和硬件负荷最小的极小辅助数据中心110，再分配单元52从极大辅助数据中心110回收一个或多个数据采集任务，回收的数据采集任务数目根据最高硬件负荷和最小硬件负荷决定；然后再分配单元52将回收的数据采集任务在分配给极小辅助数据中心110，从而避免极大辅助数据中心110硬件负荷过高而导致处理速度过慢、甚至死机，同时避免极小辅助数据中心110硬件负荷过小而导致硬件资源的浪费。

优选地，在本发明分布式数据系统第四实施例的基础上，将极大辅助数据中心110的硬件负荷作为极大硬件负荷，将极小辅助数据中心110的硬件负荷作为极小硬件负荷，

再分配单元52用于：

计算极大硬件负荷与极小硬件负荷的负荷差值；

在负荷差值大于负荷阈值时，则从极大辅助数据中心110回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心110。

再分配单元52计算极大硬件负荷与极小硬件负荷的负荷差值，即负荷差值＝极大硬件负荷—极小硬件负荷，预设负荷阈值，比较负荷差值与负荷阈值，若负荷差值大于负荷阈值，表明极大辅助数据中心110的硬件负荷与极小辅助数据中心110的硬件负荷相差较大，硬件负荷不均现象较为严重，所以再分配单元52从极大辅助数据中心110回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心110以缓和硬件负荷分布不均的问题；若负荷差值小于负荷阈值，表明极大辅助数据中心110的硬件负荷与极小辅助数据中心110的硬件负荷相差较小，硬件负荷分布较为均衡，无需进行硬件负荷调整，从而只在硬件负荷分布不均较为严重时，才进行对应的数据采集任务的调整，提高了数据采集任务调整的准确性和及时性。

进一步地，在本发明分布式数据系统第四实施例优选的基础上，提出分布式数据系统第五实施例，在第五实施例中，管理数据中心100统计每个数据采集任务经历回收和再分配的调整次数，

再分配单元52还用于：

从极大辅助数据中心回收一个或多个调整次数小于次数阈值的数据采集任务，将该数据采集任务作为待分配任务；

将待分配任务再分配给极小辅助数据中心。

在管理数据中心100赋予每一个数据采集任务一个调整次数统计值，在对数据采集任务进行一次回收和再分配时，对该数据采集任务的调整次数加一，即一个数据采集任务被回收和再分配一次其调整次数自加一。

在本实施例中，在管理数据中心100回收数据采集任务时，再分配单元52仅回收调整次数小于次数阈值的数据采集任务(即待分配任务)，然后将待分配任务再次分配到极小辅助数据中心110，即在某一数据采集任务的调整次数大于次数阈值时，则该数据采集任务不会再被回收再分配，直到对应辅助数据中心110执行完该数据采集任务，从而避免一个数据采集任务多次在辅助数据中心110之间回收和再分配，而无法及时得到执行。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种分布式数据系统的数据采集方法，其特征在于，所述分布式数据系统包括多个相互通信连接的数据中心和各个数据中心下属的远程终端，数据中心包括管理数据中心和辅助数据中心，将最早启动数据采集进程的数据中心作为管理数据中心，分布式数据系统中其它数据中心作为辅助数据中心，

该分布式数据系统的数据采集方法包括：

管理数据中心向各个远程终端发送当前时刻产生的随机数和预存的加密密钥，以供远程终端基于所述随机数和加密密钥对待上传的目标数据进行加密；

管理数据中心将所述随机数和加密密钥发送至各个辅助数据中心；

管理数据中心基于一个远程终端对应一个数据采集任务的规则，将采集各个远程终端上传的密文目标数据的数据采集任务平均分配给各个辅助数据中心，以供辅助数据中心基于接收的随机数和加密密钥执行数据采集任务；

管理数据中心每间隔预设时长获取一次各个辅助数据中心处理数据采集任务的硬件负荷，将该硬件负荷作为参考硬件负荷；

管理数据中心根据所述参考硬件负荷，选出硬件负荷最高的极大辅助数据中心和硬件负荷最低的极小辅助数据中心，并将极大辅助数据中心的硬件负荷作为极大硬件负荷，将极小辅助数据中心的硬件负荷作为极小硬件负荷，

管理数据中心计算所述极大硬件负荷与极小硬件负荷的负荷差值；

若所述负荷差值大于负荷阈值，则管理数据中心从所述极大辅助数据中心回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心，以均衡各辅助数据中心的硬件负载。

2.如权利要求1所述的分布式数据系统的数据采集方法，其特征在于，所述分布式数据系统的数据采集方法还包括：

当管理数据中心发生故障时，提取当前管理数据中心运行中生成的替换者信息，并将替换者信息对应的辅助数据中心作为新的管理数据中心。

3.如权利要求1所述的分布式数据系统的数据采集方法，其特征在于，管理数据中心统计每个数据采集任务经历回收和再分配的调整次数，

所述管理数据中心从所述极大辅助数据中心回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心的步骤包括：

管理数据中心从所述极大辅助数据中心回收一个或多个调整次数小于次数阈值的数据采集任务，将该数据采集任务作为待分配任务；

管理数据中心将所述待分配任务再分配给极小辅助数据中心。

4.一种分布式数据系统，其特征在于，所述分布式数据系统包括多个相互通信连接的数据中心和各个数据中心下属的远程终端，数据中心包括管理数据中心和辅助数据中心，将最早启动数据采集进程的数据中心作为管理数据中心，分布式数据系统中其它数据中心作为辅助数据中心，

所述管理数据中心包括：

加密模块，用于向各个远程终端发送当前时刻产生的随机数和预存的加密密钥，以供远程终端基于所述随机数和加密密钥对待上传的目标数据进行加密；

发送模块，用于将所述随机数和加密密钥发送至各个辅助数据中心；

任务均分模块，用于基于一个远程终端对应一个数据采集任务的规则，将采集各个远程终端上传的密文目标数据的数据采集任务平均分配给各个辅助数据中心；

所述辅助数据中心基于接收的随机数和加密密钥执行数据采集任务；

所述管理数据中心还包括

负荷获取模块，用于每间隔预设时长获取一次各个辅助数据中心处理数据采集任务的硬件负荷，将该硬件负荷作为参考硬件负荷；

动态调节模块，用于根据所述参考硬件负荷，动态调整各个辅助数据中心执行的数据采集任务，以均衡各辅助数据中心的硬件负载；

所述辅助数据中心每间隔预设时长向当前的管理数据中心发送当前处理数据采集任务的硬件负荷；

所述动态调节模块包括：

筛选单元，用于根据所述参考硬件负荷，选出硬件负荷最高的极大辅助数据中心和硬件负荷最低的极小辅助数据中心，其中将极大辅助数据中心的硬件负荷作为极大硬件负荷，将极小辅助数据中心的硬件负荷作为极小硬件负荷；

再分配单元用于：

计算所述极大硬件负荷与极小硬件负荷的负荷差值；

在所述负荷差值大于负荷阈值时，则从所述极大辅助数据中心回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心。

5.如权利要求4所述的分布式数据系统，其特征在于，所述管理数据中心还包括：

替换模块，用于当管理数据中心发生故障时，提取当前管理数据中心运行中生成的替换者信息，并将替换者信息对应的辅助数据中心作为新的管理数据中心。

6.如权利要求4所述的分布式数据系统，其特征在于，管理数据中心统计每个数据采集任务经历回收和再分配的调整次数，

所述再分配单元还用于：

从所述极大辅助数据中心回收一个或多个调整次数小于次数阈值的数据采集任务，将该数据采集任务作为待分配任务；

将所述待分配任务再分配给极小辅助数据中心。