CN106936618A - 一种数据采集方法和系统 - Google Patents

Abstract

本发明公开了一种数据采集方法和系统，该方法包括：任务调度服务器从数据库中获取待处理的采集任务；任务调度服务器对于获取的每个采集任务，按照预定策略从采集服务器集群中选择一个采集服务器，将该采集任务发送给该选择的采集服务器；各采集服务器根据接收到的采集任务对指定终端设备的进行数据采集，并将相应的数据采集结果返回保存至数据库中。依据本方案，任务调度服务器对采集任务的集中调度，能够保证整个方案的高可用和负载均衡，通过将对采集服务器进行分组使得一个采集服务器发生异常时可以由组内的其他的采集服务器接替进行处理，使得采集服务器具备动态横向扩展能力。

Description

一种数据采集方法和系统

技术领域

本发明涉及数据处理技术领域，具体涉及一种数据采集方法和系统。

背景技术

数据采集作为网管监控基础功能，是每个网管监控系统必不可少的。采集服务器从终端设备侧采集数据后，送给上层的网管处理模块进行处理。传统的网管监控系统的数据采集架构图如图1所示，图1示出了现有技术中的数据采集架构的示意图，数据采集流程如下:

采集服务器启动时从数据库或缓存(如Redis)中获取属于当前采集服务器负责的采集任务(注:采集任务一般为定时任务，也有一次性任务)集合。根据采集任务的轮询间隔，采集服务器定时执行采集任务，并将采集到的结果数据入库或上送给上层处理模块进行处理。

从图1的架构以及流程说明，我们可以得知传统网管监控采集比较简单直接，但是也存在如下缺点：1.存在单点故障；从上面的架构图和流程说明可知，每个采集服务器负责自己的采集任务并定时执行采集任务，如果当采集服务器异常宕掉时，它所负责的终端设备的数据采集就会中断，这对于网管监控系统来说，是一个致命的问题。2.无法进行负载均衡；每个采集服务器的处理能力是有限的，也就是它能管理的被管设备数量是有限的，当它负责的采集任务过多时，无法将任务分给其他的采集服务器进行处理，也就是它无法实现负载均衡和动态扩展，这也是不适应大数据采集要求的。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的数据采集方法和系统。

依据本发明的一个方面，提供了一种数据采集方法，该方法包括：

任务调度服务器从数据库中获取待处理的采集任务；

任务调度服务器对于获取的每个采集任务，按照预定策略从采集服务器集群中选择一个采集服务器，将该采集任务发送给该选择的采集服务器；

各采集服务器根据接收到的采集任务对指定终端设备的进行数据采集，并将相应的数据采集结果返回保存至数据库中。

可选地，所述采集服务器集群中包括多个采集服务器组，每个采集服务器组中包括多个采集服务器；

则所述任务调度服务器对于获取的每个采集任务，按照预定策略从采集服务器集群中选择一个采集服务器包括：

任务调度服务器根据该采集任务中的采集对象所属的网段或业务类型从采集服务器集群中选择一个采集服务器组，根据负载均衡算法，从选择的采集服务器组中选择一个采集服务器。

可选地，该方法进一步包括：

对于所述采集服务器中的每个采集服务器，当该采集服务器启动时，该采集服务器将对应的采集服务地址注册到服务注册中心；

任务调度服务器从服务注册中心获取服务注册列表，该服务注册列表中包括：对应于各采集服务器组的服务注册组；每个服务注册组中包括：该服务注册组对应的采集服务器组中的采集服务器所注册的采集服务地址；

则所述从采集服务器集群中选择一个采集服务器组包括：任务调度服务器从服务注册列表中选择一个服务注册组；

所述从选择的采集服务器组中选择一个采集服务器包括：任务调度服务器从选择的服务注册组中选择一个采集服务地址；

所述将该采集任务发送给该选择的采集服务器包括：任务调度服务器根据所选择的采集服务地址将该采集任务发送给相应的采集服务器。

可选地，该方法进一步包括：

服务注册中心响应于所述采集服务器集群中的采集服务器的宕机，将该采集服务器对应的采集服务地址从服务注册列表中删除。

可选地，任务调度服务器中包括：任务接收器和多个任务调度器，每个任务调度器与一个本地缓存相对应，每个本地缓存与一个采集服务器组相对应；

所述任务调度服务器对于获取的每个采集任务，按照预定策略从采集服务器集群中选择一个采集服务器，将该采集任务发送给该选择的采集服务器包括：

任务调度服务器的任务接收器获取采集任务，按照预定策略从采集服务器集群中选择一个采集服务器组，将该获取的采集任务放入所选择的采集服务器组对应的本地缓存中；

该本地缓存对应的的任务调度器从所选择的采集服务器组中选择一个采集服务器，在所述放入所选择的采集服务器组对应的本地缓存中的采集任务的执行时刻，以线程池形式调用所选择的采集服务器，使得该选择的采集服务器接收采集任务。

可选地，该方法进一步包括：

任务接收器在将获取的采集任务放入所选择的采集服务器组对应的本地缓存中之后，还对该采集任务在数据库中的状态进行监听；

当监听到该采集任务在数据库中的状态发生更新时，将该采集任务在数据库中更新后的数据重新放入所述本地缓存以覆盖该采集任务的原数据。

可选地，所述各采集服务器根据接收到的采集任务对指定终端设备的进行数据采集包括：

采集服务器对于接收到的每个采集任务，将该采集任务放入任务队列中；

采集服务器从任务队列中依次获取采集任务，根据该采集任务进行相应的数据采集。

可选地，该方法进一步包括：

建立任务调度备份服务器，每隔预定时间间隔，任务调度备份服务器对任务调度服务器中的数据进行备份；

当任务调度服务器发生故障时，任务调度备份服务器接管任务调度服务器的全部调度工作。

依据本发明的另一个方面，提供了一种数据采集系统，该系统包括：

任务调度服务器，适于从数据库中获取待处理的采集任务；对于获取的每个采集任务，按照预定策略从采集服务器集群中选择一个采集服务器，将该采集任务发送给该选择的采集服务器；

采集服务器，适于根据接收到的采集任务对指定终端设备的进行数据采集，并将相应的数据采集结果返回保存至数据库中。

可选地，所述采集服务器集群中包括多个采集服务器组，每个采集服务器组中包括多个采集服务器；

任务调度服务器，适于根据获取的采集任务中的采集对象所属的网段或业务类型从采集服务器集群中选择一个采集服务器组，根据负载均衡算法，从选择的采集服务器组中选择一个采集服务器。

可选地，该系统进一步包括：服务注册中心；

采集服务器，进一步适于在启动时，将对应的采集服务地址注册到服务注册中心；

任务调度服务器，进一步适于从服务注册中心获取服务注册列表；该服务注册列表中包括：对应于各采集服务器组的服务注册组；每个服务注册组中包括：该服务注册组对应的采集服务器组中的采集服务器所注册的采集服务地址；适于从服务注册列表中选择一个服务注册组，再从该服务注册组中选择一个采集服务地址，根据该采集服务地址将该采集任务发送给相应的采集服务器。

可选地，服务注册中心，进一步适于响应于所述采集服务器集群中的采集服务器的宕机，将该采集服务器对应的采集服务地址从服务注册列表中删除。

可选地，任务调度服务器中包括：任务接收器和多个任务调度器，每个任务调度器与一个本地缓存相对应，每个本地缓存与一个采集服务器组相对应；

任务接收器，适于获取采集任务，按照预定策略从采集服务器集群中选择一个采集服务器组，将该获取的采集任务放入所选择的采集服务器组对应的本地缓存中；

该本地缓存对应的的任务调度器，适于从所选择的采集服务器组中选择一个采集服务器，在所述放入所选择的采集服务器组对应的本地缓存中的采集任务的执行时刻，以线程池形式调用所选择的采集服务器，使得该选择的采集服务器接收采集任务。

可选地，任务接收器，进一步适于在将获取的采集任务放入所选择的采集服务器组对应的本地缓存中之后，还对该采集任务在数据库中的状态进行监听；当监听到该采集任务在数据库中的状态发生更新时，将该采集任务在数据库中更新后的数据重新放入所述本地缓存以覆盖该采集任务的原数据。

可选地，采集服务器，适于对于接收到的每个采集任务，将该采集任务放入任务队列中；从任务队列中依次获取采集任务，根据采集任务进行相应的数据采集。

可选地，该系统进一步包括：

任务调度备份服务器，适于每隔预定时间间隔对任务调度服务器中的数据进行备份；当任务调度服务器发生故障时，接管任务调度服务器的全部调度工作。

由上述可知，本发明提供的技术方案通过任务调度服务器的调度，从采集服务器集群中选择一个采集服务器，将采集任务发送给该采集服务器进行处理，采集服务器在进行相应处理后将采集结果返回至数据库进行保存，进而完成一个采集任务的执行。依据本方案，在采集服务器上层增加一个任务调度服务器，将传统的采集任务的调度从采集服务器端抽取到任务调度服务器中，任务调度服务器根据任务的轮询间隔，将任务分发给相应的采集服务器组进行执行，同时任务调度服务器也实现主备，保证高可用性，任务调度服务器对采集任务的集中调度，能够保证整个数据采集方案的高可用和负载均衡，通过将对采集服务器进行分组使得同一组中的一个采集服务器发生异常时可以由同一采集服务器组内的其他的采集服务器接替进行处理，使得采集服务器具备动态横向扩展能力，符合数据采集需求。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了现有技术中的数据采集架构的示意图；

图2示出了根据本发明一个实施例的一种数据采集方法的流程图；

图3示出了根据本发明一个实施例的数据采集架构的示意图；

图4示出了根据本发明一个实施例的任务调度服务器的定时调度架构的示意图；

图5示出了根据本发明一个实施例的采集服务器的任务处理架构的示意图；

图6示出了根据本发明一个实施例的一种数据采集系统的示意图；

图7示出了根据本发明另一个实施例的一种数据采集系统的示意图；

图8示出了根据本发明又一个实施例的一种数据采集系统的示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图2示出了根据本发明一个实施例的一种数据采集方法的流程图。如图2所示，该方法包括：

步骤S210，任务调度服务器从数据库中获取待处理的采集任务。

步骤S220，任务调度服务器对于获取的每个采集任务，按照预定策略从采集服务器集群中选择一个采集服务器，将该采集任务发送给该选择的采集服务器。

步骤S230，各采集服务器根据接收到的采集任务对指定终端设备的进行数据采集，并将相应的数据采集结果返回保存至数据库中。

本步骤中，各采集服务器将数据采集结果直接返回保存至数据库中或者返回给上层处理模块，由上层处理模块进行进一步的处理或保存等行为。

可见，图2所示的方法通过任务调度服务器的调度，从采集服务器集群中选择一个采集服务器，将采集任务发送给该采集服务器进行处理，采集服务器在进行相应处理后将采集结果返回至数据库进行保存，进而完成一个采集任务的执行。依据本方案，任务调度服务器对采集任务的集中调度和对采集服务器的选择能够保证整个数据采集方案的高可用和负载均衡，使得采集服务器具备动态横向扩展能力，符合数据采集需求。

具体地，所述采集服务器集群中包括多个采集服务器组，每个采集服务器组中包括多个采集服务器；则上述步骤S220任务调度服务器对于获取的每个采集任务，按照预定策略从采集服务器集群中选择一个采集服务器包括：根据该采集任务中的采集对象所属的网段或业务类型从采集服务器集群中选择一个采集服务器组，根据负载均衡算法，从选择的采集服务器组中选择一个采集服务器。

在本发明的一个实施例中，图2所示的方法进一步包括：对于所述采集服务器中的每个采集服务器，当该采集服务器启动时，该采集服务器将对应的采集服务地址注册到服务注册中心；则上述步骤S220任务调度服务器在调度过程中，需要先从服务注册中心获取服务注册列表，该服务注册列表中包括：对应于各采集服务器组的服务注册组；每个服务注册组中包括：该服务注册组对应的采集服务器组中的采集服务器所注册的采集服务地址。

则上述任务调度服务器对于获取的每个采集任务，按照预定策略从采集服务器集群中选择一个采集服务器的过程包括：任务调度服务器从服务注册列表中选择一个服务注册组，上述任务调度服务器从选择的采集服务器组中选择一个采集服务器的过程包括：任务调度服务器从所选择的该服务注册组中选择一个采集服务地址；再根据该采集服务地址将该采集任务发送给相应的采集服务器。

进一步地，图1所示的方法还包括：服务注册中心监听各已注册的采集服务器的状态，响应于所述采集服务器集群中的采集服务器的宕机，将该采集服务器对应的采集服务地址从服务注册列表中删除。使得任务调度服务器从服务注册中心获取的服务注册列表中的采集服务地址均是有效的。

图3示出了根据本发明一个实施例的数据采集架构的示意图，以对本方案的实施原理进行详细的说明。如图3所示，本实施例中通过Dubbo架构来实现任务负载均衡以及借助Zookeeper服务来实现任务调度服务器的高可用。如图3所示，在本方案中，部署任务调度服务器，该任务调度服务器负责采集任务的调度；为了防止任务调度服务器成为单点，借助服务注册中心实现任务调度服务器的主备状态，即部署任务调度备份服务器，该任务调度备份服务器负责对任务调度服务器中的数据进行备份，以在任务调度服务器出现故障时接管任务调度服务器的调度工作，具体地，从图3可以看出，任务调度服务器在正常工作状态下向服务注册中心注册进程节点，服务注册中心通过监测相应进程节点的状态来获知任务调度服务器的状态，进而任务调度备份服务器能够通过服务注册中心来间接监听任务调度服务器是否正常工作的状态，当任务调度备份服务器监听到服务注册中心中任务调度服务器对应的进程均中断时，任务调度备份服务器向任务调度服务器发送TCP/Ping消息，如果得不到任务调度服务器的响应则确定该任务调度服务器确实出现问题无法正常工作，这时，任务调度备份服务器将接管任务调度服务器的调度工作，在任务调度备份服务器的工作过程中，任务调度服务器恢复正常后可以作为任务调度备份服务器的备份，维持调度工作的高可用；进一步地，图3所示的数据采集架构中还部署了多个采集服务器，并对采集服务器进行分组，分组方式一般按照所属网段或所管理业务进行，即在同一采集服务器组中的采集服务器属于相同网段或者管理相同的业务，同一采集服务器组具有管理同一范围的终端设备的权限，各采集服务器负责执行接收到的采集任务，并将执行结果返回到上层处理流程，每个采集服务器启动时，依据该采集服务器所属的采集服务器组向服务注册中心注册相应的采集服务，服务注册中心记录相应的采集服务地址。

在本实施例中，任务调度服务器启动时从数据库(具体地，该数据库为redis数据库)中加载采集任务，从服务注册中心获取服务注册列表，对于每个加载的采集任务，当任务调度服务器监测到该采集任务到达执行时间点时，根据该采集任务的采集对象所属的网段或业务类型确定对应的采集服务器组，从服务注册列表中找到该采集服务器组对应的服务注册组，通过负载均衡算法(如一致性哈希算法)从该服务注册组中选择一个采集服务地址，按照该采集服务地址调用采集服务接口，将该采集任务分发到相应的采集服务器，该采集服务器在接收到该采集任务后执行相应的数据采集任务并将数据采集结果上传到上层处理流程。

上述过程实现了采集服务器组内的采集服务器之间的负载均衡，加强采集任务的处理能力，提高采集方案的灵活性和可用性；如果某个采集服务器异常宕机时，服务注册中心会检测到该采集服务器的异常并从服务注册列表中删除该采集服务器对应的采集服务地址，任务调度服务器所获取到的服务注册列表中不再包含该发生异常的采集服务器的采集服务地址，则任务调度服务器只能将采集任务下发给同一采集服务器组内的其他采集服务器，进而保证了采集服务器的失效备援，即一个采集服务器无法运作时，由同采集服务器组内的其他采集服务器接管该失效的采集服务器的数据采集工作，以保证数据采集系统的正常运行，无单点故障。

当一个采集服务器组中新增采集服务器时，需要新建一个采集服务器对应的进程，该采集服务器将自动向服务注册中心注册该采集服务器对应的采集服务，服务注册中心记录相应的采集服务地址并通知任务调度服务器更新服务注册列表，无需人工干预。

在本发明的实施例中，任务调度服务器作为采集任务的集中调度中心，必须保证任务调度的快速处理，其调度过程应当使得不同采集服务器组的采集任务之间相互没有干扰，图4示出了根据本发明一个实施例的任务调度服务器的定时调度架构的示意图。如图4所示，任务调度服务器中包括：任务接收器和多个任务调度器，每个任务调度器与一个本地缓存相对应，每个本地缓存与一个采集服务器组相对应；任务调度服务器启动时，任务调度服务器的任务接收器从数据库/redis中加载采集任务，根据该采集任务的属性信息从采集服务器集群中选择一个采集服务器组，将该获取的采集任务放入所选择的采集服务器组对应的本地缓存中；该本地缓存对应的的任务调度器从所选择的采集服务器组中选择一个采集服务器，在所述放入所选择的采集服务器组对应的本地缓存中的采集任务的执行时刻，以线程池形式调用所选择的采集服务器提供的线程DispatchThread，使得该选择的采集服务器接收采集任务。进一步地，任务调度服务器的任务接收器在将获取的采集任务放入所选择的采集服务器组对应的本地缓存中之后，还对该采集任务在数据库中的状态进行监听；当监听到该采集任务在数据库中的状态发生更新时，将该采集任务在数据库中更新后的数据重新放入所述本地缓存以覆盖该采集任务的原数据。

采集服务器在接收到采集任务后，应当立即对任务调度服务器进行反馈，并处理采集任务，不能阻塞任务调度服务器的调度过程，图5示出了根据本发明一个实施例的采集服务器的任务处理架构的示意图。如图5所示，采集服务器在启动时同时启动相应的采集服务XXXServiceImpl，该采集服务XXXServiceImpl在接收到任务调度服务器中的任务调度器下发的采集任务后，为了尽快反馈，防止对任务调度服务器端造成影响，并不直接执行接收到的采集任务，而是将采集任务放入任务队列中排队处理，以实现采集任务的调度和处理之间的异步过程，采集服务器中的任务处理线程XXXProcessThread从任务队列中获取采集任务，通过线程池调用线程XXXExecRunnable执行该采集任务，采集任务执行结束后，将执行结果返回上送。其中，同一个采集服务器上的采集服务端口预先分配一端端口，初始化时采用自动检测端口占用情况自动获取端口并将端口保存在配置文件中，以供下次启动时直接使用。

图6示出了根据本发明一个实施例的一种数据采集系统的示意图，如图6所示，该数据采集系统600包括：

任务调度服务器610，适于从数据库中获取待处理的采集任务；对于获取的每个采集任务，按照预定策略从采集服务器集群中选择一个采集服务器620，将该采集任务发送给该选择的采集服务器620。

采集服务器620，适于根据接收到的采集任务对指定终端设备的进行数据采集，并将相应的数据采集结果返回保存至数据库中。

可见，图6所示的系统通过任务调度服务器的调度，从采集服务器集群中选择一个采集服务器，将采集任务发送给该采集服务器进行处理，采集服务器在进行相应处理后将采集结果返回至数据库进行保存，进而完成一个采集任务的执行。依据本方案，任务调度服务器对采集任务的集中调度和对采集服务器的选择能够保证整个数据采集方案的高可用和负载均衡，使得采集服务器具备动态横向扩展能力，符合数据采集需求。

在本发明的一个实施例中，所述采集服务器集群中包括多个采集服务器组，每个采集服务器组中包括多个采集服务器；任务调度服务器610，适于根据获取的采集任务中的采集对象所属的网段或业务类型从采集服务器集群中选择一个采集服务器组，根据负载均衡算法，从选择的采集服务器组中选择一个采集服务器620。

在本发明的一个实施例中，采集服务器620，适于对于接收到的每个采集任务，将该采集任务放入任务队列中；从任务队列中依次获取采集任务，根据采集任务进行相应的数据采集。

图7示出了根据本发明另一个实施例的一种数据采集系统的示意图，如图7所示，该数据采集系统700包括：任务调度服务器710和采集服务器720，任务调度服务器710中包括：任务接收器711和多个任务调度器712，每个任务调度器712与一个本地缓存相对应，每个本地缓存与一个采集服务器组相对应，即任务调度器712与采集服务器组是一一对应的关系，图7中仅以两对任务调度器712与采集服务器组的对应关系为例进行作出标示，据此可以同理进行扩展。

任务接收器711，适于获取采集任务，按照预定策略从采集服务器集群中选择一个采集服务器组，将该获取的采集任务放入所选择的采集服务器组对应的本地缓存中。

该本地缓存对应的的任务调度器712，适于从所选择的采集服务器组中选择一个采集服务器720，在所述放入所选择的采集服务器组对应的本地缓存中的采集任务的执行时刻，以线程池形式调用所选择的采集服务器720，使得该选择的采集服务器720接收采集任务。

在本发明的一个实施例中，任务接收器711，进一步适于在将获取的采集任务放入所选择的采集服务器组对应的本地缓存中之后，还对该采集任务在数据库中的状态进行监听；当监听到该采集任务在数据库中的状态发生更新时，将该采集任务在数据库中更新后的数据重新放入所述本地缓存以覆盖该采集任务的原数据。

图8示出了根据本发明又一个实施例的一种数据采集系统的示意图，如图8所示，该数据采集系统800包括：任务调度服务器810、采集服务器820、服务注册中心830和任务调度备份服务器840。

其中，任务调度服务器810、采集服务器820具有与图6-图7所示的任务调度服务器610/710、采集服务器620/720对应相同的功能，相同的部分不再赘述。

采集服务器820，进一步适于在启动时，将对应的采集服务地址注册到服务注册中心830。

任务调度服务器810，适于从服务注册中心830获取服务注册列表；该服务注册列表中包括：对应于各采集服务器组的服务注册组；每个服务注册组中包括：该服务注册组对应的采集服务器组中的采集服务器所注册的采集服务地址；适于按照预定策略从服务注册列表中选择一个服务注册组，再从该服务注册组中选择一个采集服务地址，根据该采集服务地址将该采集任务发送给相应的采集服务器820。

例如，每个采集服务器820启动后启动响应的采集服务，将该采集服务在服务注册中心830进行注册，任务调度服务器810从服务注册中心830获取服务注册列表，从中按照策略选择一个服务注册组，从该服务注册组中选择一个采集服务地址，根据该采集服务地址调度相应的采集服务器820中的采集服务，进行采集任务的下发。

任务调度备份服务器840，适于每隔预定时间间隔对任务调度服务器810中的数据进行备份；当任务调度服务器810发生故障时，接管任务调度服务器810的全部调度工作。

在本发明的一个实施例中，服务注册中心830，进一步适于响应于所述采集服务器集群中的采集服务器的宕机，将该采集服务器对应的采集服务地址从服务注册列表中删除。

需要说明的是，图6-图8所示系统的各实施例与图2-图5所示的各实施例对应相同，上文中已有详细说明，在此不再赘述。

综上所述，本发明提供的技术方案通过任务调度服务器的调度，从采集服务器集群中选择一个采集服务器，将采集任务发送给该采集服务器进行处理，采集服务器在进行相应处理后将采集结果返回至数据库进行保存，进而完成一个采集任务的执行。依据本方案，在采集服务器上层增加一个任务调度服务器，将传统的采集任务的调度从采集服务器端抽取到任务调度服务器中，任务调度服务器根据任务的轮询间隔，将任务分发给相应的采集服务器组进行执行，同时任务调度服务器也实现主备，保证高可用性，任务调度服务器对采集任务的集中调度，能够保证整个数据采集方案的高可用和负载均衡，通过将对采集服务器进行分组使得同一组中的一个采集服务器发生异常时可以由同一采集服务器组内的其他的采集服务器接替进行处理，使得采集服务器具备动态横向扩展能力，符合数据采集需求。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种数据采集方法，其特征在于，该方法包括：

任务调度服务器从数据库中获取待处理的采集任务；

任务调度服务器对于获取的每个采集任务，按照预定策略从采集服务器集群中选择一个采集服务器，将该采集任务发送给该选择的采集服务器；

各采集服务器根据接收到的采集任务对指定终端设备进行数据采集，并将相应的数据采集结果返回保存至数据库中。

2.如权利要求1所述的方法，其特征在于，所述采集服务器集群中包括多个采集服务器组，每个采集服务器组中包括多个采集服务器；

则所述任务调度服务器对于获取的每个采集任务，按照预定策略从采集服务器集群中选择一个采集服务器包括：

任务调度服务器根据该采集任务中的采集对象所属的网段或业务类型从采集服务器集群中选择一个采集服务器组，根据负载均衡算法，从选择的采集服务器组中选择一个采集服务器。

3.如权利要求2所述的方法，其特征在于，该方法进一步包括：

对于所述采集服务器中的每个采集服务器，当该采集服务器启动时，该采集服务器将对应的采集服务地址注册到服务注册中心；

任务调度服务器从服务注册中心获取服务注册列表，该服务注册列表中包括：对应于各采集服务器组的服务注册组；每个服务注册组中包括：该服务注册组对应的采集服务器组中的采集服务器所注册的采集服务地址；

则所述从采集服务器集群中选择一个采集服务器组包括：任务调度服务器从服务注册列表中选择一个服务注册组；

所述从选择的采集服务器组中选择一个采集服务器包括：任务调度服务器从选择的服务注册组中选择一个采集服务地址；

所述将该采集任务发送给该选择的采集服务器包括：任务调度服务器根据所选择的采集服务地址将该采集任务发送给相应的采集服务器。

4.如权利要求3所述的方法，其特征在于，该方法进一步包括：

服务注册中心响应于所述采集服务器集群中的采集服务器的宕机，将该采集服务器对应的采集服务地址从服务注册列表中删除。

5.如权利要求2所述的方法，其特征在于，任务调度服务器中包括：任务接收器和多个任务调度器，每个任务调度器与一个本地缓存相对应，每个本地缓存与一个采集服务器组相对应；

所述任务调度服务器对于获取的每个采集任务，按照预定策略从采集服务器集群中选择一个采集服务器，将该采集任务发送给该选择的采集服务器包括：

任务调度服务器的任务接收器获取采集任务，按照预定策略从采集服务器集群中选择一个采集服务器组，将该获取的采集任务放入所选择的采集服务器组对应的本地缓存中；

该本地缓存对应的的任务调度器从所选择的采集服务器组中选择一个采集服务器，在所述放入所选择的采集服务器组对应的本地缓存中的采集任务的执行时刻，以线程池形式调用所选择的采集服务器，使得该选择的采集服务器接收采集任务。

6.如权利要求5所述的方法，其特征在于，该方法进一步包括：

任务接收器在将获取的采集任务放入所选择的采集服务器组对应的本地缓存中之后，还对该采集任务在数据库中的状态进行监听；

当监听到该采集任务在数据库中的状态发生更新时，将该采集任务在数据库中更新后的数据重新放入所述本地缓存以覆盖该采集任务的原数据。

7.如权利要求1所述的方法，其特征在于，所述各采集服务器根据接收到的采集任务对指定终端设备的进行数据采集包括：

采集服务器对于接收到的每个采集任务，将该采集任务放入任务队列中；

采集服务器从任务队列中依次获取采集任务，根据该采集任务进行相应的数据采集。

8.如权利要求1所述的方法，其特征在于，该方法进一步包括：

建立任务调度备份服务器，每隔预定时间间隔，任务调度备份服务器对任务调度服务器中的数据进行备份；

当任务调度服务器发生故障时，任务调度备份服务器接管任务调度服务器的全部调度工作。

9.一种数据采集系统，其特征在于，该系统包括：

任务调度服务器，适于从数据库中获取待处理的采集任务；对于获取的每个采集任务，按照预定策略从采集服务器集群中选择一个采集服务器，将该采集任务发送给该选择的采集服务器；

采集服务器，适于根据接收到的采集任务对指定终端设备进行数据采集，并将相应的数据采集结果返回保存至数据库中。

10.如权利要求9所述的系统，其特征在于，所述采集服务器集群中包括多个采集服务器组，每个采集服务器组中包括多个采集服务器；

任务调度服务器，适于根据获取的采集任务中的采集对象所属的网段或业务类型从采集服务器集群中选择一个采集服务器组，根据负载均衡算法，从选择的采集服务器组中选择一个采集服务器。