CN111158899A - 一种数据的采集方法、采集器、任务管理中心以及系统 - Google Patents

Abstract

本申请提供一种数据的采集方法、采集器、任务管理中心以及系统。方法包括：在所述采集器处于空闲状态时，访问所述任务管理中心上的任务队列，获取所述任务队列中与所述采集器的最大处理能力匹配的采集任务；执行所述采集任务，采集对应的被采集对象的数据；将所述数据发送给目标设备。通过任务管理中心将任务加入到任务队列，采集器一旦处于空闲便从任务队列中抢占与自身最大的处理能力匹配的任务，使得采集器随时都在以最大负荷来执行采集任务，故最大限度的提高采集器的采集效率。此外，在采集器为多个情况下，由于每个采集器均以最大负荷来运行，故还实现了负荷的均衡。

Description

一种数据的采集方法、采集器、任务管理中心以及系统

技术领域

本申请涉及数据处理领域，具体而言，涉及一种数据的采集方法、采集器、任务管理中心以及系统。

背景技术

在目前的数据采集技术中，大部分的采集方式还是基于任务管理中心将采集任务分发给具体的采集通道或采集器来完成，以使采集通道或采集器执行被分发的任务，从而完成对相应数据的采集。

现有的这种数据采集方式虽然能够实现的数据采集，但采集效率不够高，无法最大限度的提高采集通道或采集器的采集效率。

发明内容

本申请实施例的目的在于提供一种数据的采集方法、采集器、任务管理中心以及系统，用以最大限度的提高采集器的采集效率。

第一方面，本申请实施例提供了一种数据的采集方法，应用于与任务管理中心连接的采集器，所述方法包括：

在所述采集器处于空闲状态时，访问所述任务管理中心上的任务队列，获取所述任务队列中与所述采集器的最大处理能力匹配的采集任务；

执行所述采集任务，采集对应的被采集对象的数据；

将所述数据发送给目标设备。

在本申请实施例中，通过任务管理中心将任务加入到任务队列，采集器一旦处于空闲便从任务队列中抢占与自身最大的处理能力匹配的任务，使得采集器随时都在以最大负荷来执行采集任务，故最大限度的提高采集器的采集效率。此外，在采集器为多个情况下，由于每个采集器均以最大负荷来运行，故还实现了负荷的均衡。

结合第一方面，在第一种可能的实现方式中，访问任务管理中心上的任务队列，包括：

访问所述任务管理中心上任务类型与所述采集器的采集类型匹配的所述任务队列。

在本申请实施例中，通过访问任务类型与采集器的采集类型匹配的任务队列，采集器获取并执行的采集任务是符合自身处理能力的任务，以进一步提高采集器的处理效率。

结合第一方面，在第二种可能的实现方式中，确定所述采集器是否处于空闲状态的步骤，包括：

获取所述采集器当前已获取的且未执行完成的采集任务的任务数量；

判断所述任务数量是否低于预设的数量阈值，其中，低于所述数量阈值表示所述采集器处于空闲状态，而不低于所述数量阈值则表示所述采集器不处于空闲状态。

在本申请实施例中，通过判断任务数量是否低于预设的数量阈值的方式可以快速便捷确定出自身是否空闲。

结合第一方面，在第三种可能的实现方式中，所述方法还包括：

在获取到所述采集任务时，向所述任务管理中心发送任务获取指示，以使所述任务管理中心根据所述任务获取指示将所述采集任务从所述任务队列中删除。

在本申请实施例中，任务管理中心难以主动去感知采集任务被哪个采集器获取。在这种情况下，通过采集器在第一时间主动告知任务管理中心，可使得任务管理中心可以实时的调整任务队列，避免由于同一采集任务被多个采集器获取而造成的资源浪费。

结合第一方面，在第四种可能的实现方式中，所述方法还包括：

在所述采集任务开始执行时，向所述任务管理中心发送任务执行指示，以使所述任务管理中心根据所述任务执行指示记录所述采集任务开始执行的时间；

在所述采集任务执行完成时，向所述任务管理中心发送任务完成指示，以使所述任务管理中心根据所述任务完成指示记录所述采集任务执行完成的时间。

在本申请实施例中，若任务管理中心主动去感知采集任务执行情况会极大的消耗任务管理中心的资源。因此，通过采集器第一时间将采集任务在什么时候开始以及什么时候结束告知任务管理中心，其在实现任务管理中心感知各采集任务的执行情况的基础上，还有效降低任务管理中心的资源消耗。

第二方面，本申请实施例提供了一种数据的采集方法，应用于任务管理中心，所述任务管理中心与采集器连接，所述方法包括：

获取待执行的采集任务；

将所述采集任务加入到所述任务管理中心的任务队列中，以使所述采集器在处于空闲状态时，所述采集器通过访问所述任务队列而获取与所述采集器的最大处理能力匹配的所述采集任务。

在本申请实施例中，通过任务管理中心将任务加入到任务队列，采集器一旦处于空闲便从任务队列中抢占与自身最大的处理能力匹配的任务，使得采集器随时都在以最大负荷来执行采集任务，故最大限度的提高采集器的采集效率。此外，在采集器为多个情况下，由于每个采集器均以最大负荷来运行，故还实现了负荷的均衡。

结合第二方面，在第一种可能的实现方式中，获取待执行的采集任务，包括：

通过将待执行的总任务分割，获得分割出的所述采集任务。

在本申请实施例中，通过将总任务分割成各采集指标对应的采集任务，可以实现同一总任务下的各采集指标可以由各采集器抢占执行，从而最大程度的保障了同一总任务的多项采集指标在采集时的无序性，使得总任务的负荷能够无序的被各采集器分担。

结合第二方面，在第一种可能的实现方式中，将所述采集任务加入到所述任务管理中心的任务队列中，包括：

将所述采集任务加入到任务类型与所述采集任务的类型匹配所述的任务队列中。

在本申请实施例中，通过将采集任务加入到任务类型与该采集任务的类型匹配的任务队列中，使得采集任务可以被有序的分类下发到对应队列，以便采集器可以按队列来获取匹配的任务，进一步提高采集任务的处理效率。

结合第二方面，在第一种可能的实现方式中，所述任务管理中心还与备用采集器连接，所述方法还包括：

确定所述任务队列中的任务数量大于阈值数量的状态持续预设时长，控制所述备用采集器执行所述任务队列中的任务。

在本申请实施例中，通过协调备用的备用采集器来处理任务，可以有效避免任务的积压。

第三方面，本申请实施例提供了一种采集器，所述采集器与任务管理中心连接，所述采集器包括：

任务获取模块，用于在所述采集器处于空闲状态时，访问所述任务管理中心上的任务队列，获取所述任务队列中与所述采集器的最大处理能力匹配的采集任务；

任务执行模块，用于执行所述采集任务，采集对应的被采集对象的数据；将所述数据发送给目标设备。

结合第三方面，在第一种可能的实现方式中，

所述任务获取模块，用于访问所述任务管理中心上任务类型与所述采集器的采集类型匹配的所述任务队列。

结合第三方面，在第二种可能的实现方式中，

所述任务获取模块，用于获取所述采集器当前已获取的且未执行完成的采集任务的任务数量；判断所述任务数量是否低于预设的数量阈值，其中，低于所述数量阈值表示所述采集器处于空闲状态，而不低于所述数量阈值则表示所述采集器不处于空闲状态。

结合第三方面，在第三种可能的实现方式中，

所述任务执行模块，还用于在获取到所述采集任务时，向所述任务管理中心发送任务获取指示，以使所述任务管理中心根据所述任务获取指示将所述采集任务从所述任务队列中删除。

结合第三方面，在第四种可能的实现方式中，

所述任务执行模块，还用于在所述采集任务开始执行时，向所述任务管理中心发送任务执行指示，以使所述任务管理中心根据所述任务执行指示记录所述采集任务开始执行的时间；

所述任务执行模块，还用于在所述采集任务执行完成时，向所述任务管理中心发送任务完成指示，以使所述任务管理中心根据所述任务完成指示记录所述采集任务执行完成的时间。

第四方面，本申请实施例提供了一种任务管理中心，所述任务管理中心与采集器连接，所述任务管理中心包括：

任务获取模块，用于获取待执行的采集任务；

任务分发模块，用于将所述采集任务加入到所述任务管理中心的任务队列中，以使所述采集器在处于空闲状态时，所述采集器通过访问所述任务队列而获取与所述采集器的最大处理能力匹配的所述采集任务。

结合第四方面，在第一种可能的实现方式中，

所述任务获取模块，用于通过将待执行的总任务分割，获得分割出的所述采集任务。

结合第四方面，在第一种可能的实现方式中，

所述任务分发模块，用于将所述采集任务加入到任务类型与所述采集任务的类型匹配所述的任务队列中。

结合第四方面，在第一种可能的实现方式中，所述任务管理中心还与备用采集器连接，

所述任务分发模块，还用于确定所述任务队列中的任务数量大于阈值数量的状态持续预设时长，控制所述备用采集器执行所述任务队列中的任务。

第五方面，本申请实施例提供了一种任务处理系统，任务处理系统包括：采集器，以及与所述采集器连接的任务管理中心，

所述采集器，用于执行如第一方面或第一方面的任一种可能的实现方式所述的数据的采集方法；

所述任务管理中心，用于执行如第二方面或第二方面的任一种可能的实现方式所述的数据的采集方法。

第六方面，本申请实施例提供了一种具有计算机可执行的非易失程序代码的计算机可读存储介质，所述程序代码使所述计算机执行如第一方面、第一方面的任一种可能的实现方式、第二方面或第二方面的任一种可能的实现方式所述的数据的采集方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种任务处理系统的结构框图；

图2为本申请实施例提供的一种数据的采集方法的逻辑流程图；

图3为本申请实施例提供的一种数据的采集方法的交互流程图；

图4为本申请实施例提供的一种数据的采集方法中任务表项的示意图；

图5本申请实施例提供的一种数据的采集器的结构框图；

图6本申请实施例提供的一种数据的任务管理中心的结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

请参阅图1，本申请实施例提供了一种任务处理系统10，任务处理系统10可以包括：多个采集器11，以及与多个采集器11连接的任务管理中心12。

本实施例中，多个采集器11，以及任务管理中心12都可以是按照其所实现的功能而设定的功能性程序模块，其可以部署在硬件平台上，并依赖于硬件平台运行。可选的，根据应用场景的要求，多个采集器11和任务管理中心12可以部署在同一硬件设备上，例如多个采集器11和任务管理中心12可以部署在同一服务器或者同一终端上。或者，也根据应用场景的要求，多个采集器11和任务管理中心12可以异地部署在不同的硬件设备上，例如多个采集器11分别部署在各种对应的终端上，而任务管理中心12则部署在与终端连接的服务器上。

本实施例中，任务管理中心12可以将在获取到采集任务后，可以将采集任务加入到任务管理中心12上预设的任务队列中，其中，采集任务可以是针对某个或某些被采集对象并获取这些对象的某些数据，例如，采集任务可以是获取1000台X设备中每台X设备的MAC(Media Access Control Address，局域网地址地址)地址以及IP(Internet Protocol，网际互连协议)地址。每个采集器11一旦确定自身处于空闲状态，便可以第一时间到任务队列上去抢占与自身最大处理能力匹配的采集任务，然后再执行该采集任务，采集对应的被采集对象的数据。

下面将从任务管理中心12以及某个采集器11的角度，详细的说明任务管理中心12与采集器11如何配合来实现任务的执行以及数据的采集。

请参阅图2，本申请实施例提供了一种数据的采集方法，该数据的采集方法可以由任务管理中心12与采集器11配合执行，该数据的采集方法可以包括：

步骤S100：任务管理中心获取待执行的采集任务。

步骤S200：任务管理中心将采集任务加入到任务管理中心的任务队列中。

步骤S300：在采集器处于空闲状态时，采集器访问任务管理中心上的任务队列，获取任务队列中与采集器的最大处理能力匹配的采集任务。

步骤S400：采集器执行采集任务，采集对应的被采集对象的数据。

步骤S500：采集器将该数据发送给目标设备。

结合图2并参阅3，下面将对任务管理中心12与采集器11的交互进行详细说明。

在用户需要采集某个或某些对象的某种数据时，用户可以通过用户端将针对该某个或某些对象的某种数据的任务下发给任务管理中心12。这样，任务管理中心12便可以获取到用户端下发的待执行任务。当然，通过用户端下发任务的方式仅为本实施例例举的一种方式，并不作为本实施例的限定。比如，用户可以直接与任务管理中心12进行人机交互，任务管理中心12通过响应用户的任务输入操作，而生成对应的任务。

本实施例中，为避免执行任务的采集器11的负荷过高，任务管理中心12在获取到任务后，任务管理中心12可以判断任务是否能够分割。可以理解到，若任务能够分割，说明任务管理中心12获取到的是总任务，故任务管理中心12可以将总任务分割，获得多个分割出的采集任务；若任务不能够分割，说明任务管理中心12获取到的直接是采集任务。

作为判断任务是否能够分割的可选方式，任务管理中心12可以判断任务所针对的被采集对象是否为多个，以及判断被采集对象的采集指标是否为多个。若确定被采集对象为一个且被采集对象的采集指标也为一个，说明任务不能够分割，否则，说明任务可以分割。

对应的，作为分割任务的可选方式，任务管理中心12可以以对象以及采集指标为分割的依据进行分割。这样，每个分割出的采集任务只针对一个被采集对象的一个指标。

例如，在任务为获取1000台X设备中每台X设备的MAC地址以及IP地址的情况，显然，该任务所针对的被采集对象为1000台X设备，被采集对象的采集指标则为MAC地址以及IP地址这两个指标，故该任务需要被分割。按照上述分割方式，任务管理中心12可以将该任务分割成2000个采集任务，每个采集任务用于采集对应一台X设备的MAC地址或IP地址。

在分割出的采集任务或者直接获得不用分割的采集任务后，任务管理中心12便可以将采集任务加入到任务管理中心12预设的任务队列中。

可以理解到，对任务进行分割再加入队列仅为本实施例一种示例方式，并不作为本实施例的限定，比如，任务管理中心12也可以不用对任务进行分割，而直接将获取到的任务加入到任务队列中。

作为将采集任务加入到任务队列的一种可选方式，预设的任务队列可以是多个，任务管理中心12可以按照先入先出的顺序，将采集任务随机的加入到一个任务队列中或者将采集任务加入到任务数量最少的任务队列中。

作为将采集任务加入到任务队列的另一种可选方式，预设的任务队列可以是多个，且每个任务队列用于放置对应的一种类型的任务。这样，任务管理中心12可以根据采集任务的任务类型，按照先入先出的顺序将采集任务加入到任务类型与采集任务的类型匹配的任务队列中。例如，任务队列A用于放置采集地址的任务，而任务队列B用于放置采集网元的任务，那么任务管理中心12可以将采集X设备的MAC地址的采集任务加入到任务队列A中，以及将采集Y设备的网元的采集任务加入到任务队列B中。

本实施例中，为便于对采集任务进行管理，如图4所示，任务管理中心12预设有任务表项，该任务表项可以用于记录任务的各种信息。例如图4所示，任务管理中心12在获取到总任务时，任务管理中心12可以将总任务的唯一编号记录到任务表项，以及任务管理中心12将总任务分割成各采集任务时，任务管理中心12还可以在总任务的表头下记录各采集任务的唯一编号。此外，在任务管理中心12将采集任务加入到任务队列中时，任务管理中心12还可以同步采集任务加入到任务队列中的时间。

对于采集器11来说，采集器11在执行已获取且未完成的采集任务的同时，采集器11还可以实时的监测自身的状态，一旦确定自身处于空闲状态，便在第一时间去任务管理中心12的任务队列上抢占任务。

作为判断自身是否处于空闲状态的一种可选方式，采集器11可以根据自身当前处理中的任务的任务数量确定出自身的负荷指数，并判断自身的负荷指数是否低于预设的负荷阈值。若低于负荷阈值说明采集器11当前未处于全负荷运行状态，故表示采集器11处于空闲状态，反之，则说明采集器11未处于空闲状态。

作为判断自身是否处于空闲状态的另一种可选方式，采集器11可以获取当前已获取的且未执行完成的采集任务的任务数量，并判断任务数量是否低于预设的数量阈值。若低于数量阈值说明采集器11还可以再获取一些任务来处理，故低于数量阈值则表示采集器11处于空闲状态，反之，则说明采集器11未处于空闲状态。

采集器11在确定自身处于空闲状态时，采集器11可以去访问任务管理中心12的任务队列，以获取与最大处理能力匹配的采集任务。

具体的，若采集器11通过负荷指数来确定自身是否处于空闲状态，那么采集器11还可以通过负荷指数，确定出在当前负荷下自身再处理多少数量的任务可以使得自身达到满负荷。因此，在确定出任务的数量后，采集器11则按照先入先出的顺序从任务队列上获取达到该数量的采集任务。例如，若负荷阈值为80％，在负荷指数为40％时，采集器11可以确定出需要获取的任务的任务数量为10，该任务的数量为10表示若采集器11再增加处理10件采集任务可使得负荷指数从40％增加到近100％。又例如，若负荷阈值为80％，在负荷指数为70％时，采集器11可以确定出需要获取的任务的任务数量为4，该任务的数量为4表示若采集器11再增加处理4件采集任务可使得负荷指数从70％增加到近100％。可以理解到，在这种情况下，采集器11的处理能力可以通过采集器11正在处理的任务的任务数量来表示，当采集器11正在处理的任务的任务数量多到让采集器11处于满负荷时，那么该任务数量表示的则是采集器11的最大处理能力。

若采集器11通过任务数量来确定自身是否处于空闲状态，那么采集器11还可以通过任务数量，确定出在当前的任务数量下自身再处理多少数量的任务可以使得自身达到满负荷。因此，在确定出任务的数量后，采集器11则按照先入先出的顺序从任务队列上获取达到该数量的采集任务。例如，若采集器11正在处理以及待处理的任务数量最多有100件，在当前已获取的且未执行完成的采集任务的任务数量为低于数量阈值50件时，采集器11可以确定出需要获取的任务的任务数量为50，该任务的数量为50表示若采集器11再获取50件任务可达到最大处理能力。也可以理解到，在这种情况下，采集器11的处理能力可以通过采集器11正在处理以及待处理的任务数量来表示，当采集器11正在处理以及待处理的任务数量达到采集器11的上限时，那么该任务数量表示的则是采集器11的最大处理能力。

本实施例中，若采集器11可以处理各种类型的采集任务，采集器11可以从任一个任务队列中获取任一种类型的采集任务，比如从任务数量最多的任务队列获取采集任务。若采集器11只能处理一部分类型的采集任务，采集器11则需要访问任务管理中心12上任务类型与采集器11的采集类型匹配的任务队列，并获取到类型匹配的采集任务。

本实施例中，由于采集器11获取采集任务是将任务队列中该采集任务的信息拷贝，该采集任务本身还是存在于该任务队列中，因此，采集器11在获取到采集任务时，采集器11可以在立刻向任务管理中心12发送任务获取指示，以使任务管理中心12根据任务获取指示将该被获取的采集任务从任务队列中删除，以避免同一采集任务被多个采集器11获取的情况发生。

此外，由于任务获取指示中携带的信息可以包括该采集任务由哪个采集器11在哪个时间获取(抢占)，因此，如图4所示，任务管理中心12在获取到任务获取指示时，任务管理中心12可以将该采集任务由哪个采集器11在哪个时间获取记录到任务表项。

对于采集器11来说，采集器11可以按照各采集任务在获取时的先后顺序依次执行各采集任务。通过对采集任务的执行，采集器11可以采集对应的被采集对象的数据。在采集到数据后，继续通过对采集任务的执行，采集器11可以将该数据发送给采集任务指示的目标设备。可选的，根据应用场景的不同，目标设备也有所不同，例如目标设备可以是任务管理中心12或者其它的第三方设备。

在确定成功的将数据发送给目标设备后，采集器11确定采集任务执行完成，采集器11可以向任务管理中心12发送携带有该采集器11在什么时间完成什么采集任务的任务完成指示。对应的，向任务管理中心12在接收到该任务完成指示后，任务管理中心12可以根据任务完成指示中携带的信息，将采集任务执行完成的时间对应的记录到如图4所示的任务表项。

任务管理中心12通过周期性的遍历该任务表项可以确定哪些任务执行完成，以及确定哪些任务还未完成，并将执行完成的任务从任务表项中删除。需要指出的是，对于没有分割的采集任务来说，该采集任务执行完成，任务管理中心12便将其从任务表项中删除；而对于被分割的总任务来说，任务管理中心12需要确定该总任务分割出的所有采集任务都执行完成，任务管理中心12才将其从任务表项中删除。

此外，任务管理中心12通过周期性的遍历该任务表项还可以获取任务表项还未执行完成的采集任务的最新处理时长。采集器11可以判断该最新处理时长是否超过了预设的阈值时长。

若确定该最新处理时长未超过阈值时长，其表示该采集任务还在正常处理中，故任务管理中心12可以不对该采集任务做调整。

若确定该最新处理时长超过了阈值时长，其表示该采集任务的处理发生了异常情况比如执行该采集任务的采集器11可能发生了故障，因此任务管理中心12需要该采集任务做一定调整。可选的，任务管理中心12可以将该采集任务重新加入到任务队列中，以便该采集任务能够被其他采集器11重新获取并执行，确保该采集任务能够正常的执行完成。

本实施例中，任务管理中心12不仅可以下发任务、记录任务、以及删除任务，任务管理中心12还可以对采集器11进行管理。具体的，任务管理中心12可以实时的监测任务队列中的任务数量，若通过监测确定任务队列中的任务数量大于阈值数量的状态持续预设时长，则表示任务队列中的任务出现了积压，因此，任务管理中心12可以调用当前未参与任务处理的备用采集器11取获取并执行任务队列中的任务，以确保任务队列中的水位下降。

需要说明的是，任务管理中心12在调用备用采集器11时，若发现没有备用采集器11可以调用，那么任务管理中心12可以发送告警信息给运维管理人员。

请参阅图5以及图6，基于同一发明构思，本申请实施例中的采集器11可以包括：

任务获取模块111，用于在所述采集器处于空闲状态时，访问所述任务管理中心上的任务队列，获取所述任务队列中与所述采集器的最大处理能力匹配的采集任务。

任务执行模块112，用于执行所述采集任务，采集对应的被采集对象的数据；将所述数据发送给目标设备。

也基于同一发明构思，本申请实施例中的任务管理中心12可以包括：

任务获取模块121，用于获取待执行的采集任务。

任务分发模块122，用于将所述采集任务加入到所述任务管理中心的任务队列中，以使所述采集器在处于空闲状态时，所述采集器通过访问所述任务队列而获取与所述采集器的最大处理能力匹配的所述采集任务。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请一些实施例还提供了一种计算机可执行的非易失的程序代码的计算机可读储存介质，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该计算机可读存储介质上存储有程序代码，该程序代码被计算机运行时执行上述任一实施方式的数据的采集方法的步骤。

本申请实施例所提供的数据的采集方法的程序代码产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。

综上所述，本申请实施例提供了一种数据的采集方法、采集器、任务管理中心以及系统。通过任务管理中心将任务加入到任务队列，采集器一旦处于空闲便从任务队列中抢占与自身最大的处理能力匹配的任务，使得采集器随时都在以最大负荷来执行采集任务，故最大限度的提高采集器的采集效率。此外，在采集器为多个情况下，由于每个采集器均以最大负荷来运行，故还实现了负荷的均衡。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种数据的采集方法，其特征在于，应用于与任务管理中心连接的采集器，所述方法包括：

在所述采集器处于空闲状态时，访问所述任务管理中心上的任务队列，获取所述任务队列中与所述采集器的最大处理能力匹配的采集任务；

执行所述采集任务，采集对应的被采集对象的数据；

将所述数据发送给目标设备。

2.根据权利要求1所述的数据的采集方法，其特征在于，访问任务管理中心上的任务队列，包括：

访问所述任务管理中心上任务类型与所述采集器的采集类型匹配的所述任务队列。

3.根据权利要求1所述的数据的采集方法，其特征在于，确定所述采集器是否处于空闲状态的步骤，包括：

获取所述采集器当前已获取的且未执行完成的采集任务的任务数量；

判断所述任务数量是否低于预设的数量阈值，其中，低于所述数量阈值表示所述采集器处于空闲状态，而不低于所述数量阈值则表示所述采集器不处于空闲状态。

4.根据权利要求1所述的数据的采集方法，其特征在于，所述方法还包括：

在获取到所述采集任务时，向所述任务管理中心发送任务获取指示，以使所述任务管理中心根据所述任务获取指示将所述采集任务从所述任务队列中删除。

5.根据权利要求1所述的数据的采集方法，其特征在于，所述方法还包括：

在所述采集任务开始执行时，向所述任务管理中心发送任务执行指示，以使所述任务管理中心根据所述任务执行指示记录所述采集任务开始执行的时间；

在所述采集任务执行完成时，向所述任务管理中心发送任务完成指示，以使所述任务管理中心根据所述任务完成指示记录所述采集任务执行完成的时间。

6.一种数据的采集方法，其特征在于，应用于任务管理中心，所述任务管理中心与采集器连接，所述方法包括：

获取待执行的采集任务；

将所述采集任务加入到所述任务管理中心的任务队列中，以使所述采集器在处于空闲状态时，所述采集器通过访问所述任务队列而获取与所述采集器的最大处理能力匹配的所述采集任务。

7.根据权利要求6所述的数据的采集方法，其特征在于，获取待执行的采集任务，包括：

通过将待执行的总任务分割，获得分割出的所述采集任务。

8.根据权利要求6所述的数据的采集方法，其特征在于，将所述采集任务加入到所述任务管理中心的任务队列中，包括：

将所述采集任务加入到任务类型与所述采集任务的类型匹配所述的任务队列中。

9.根据权利要求6所述的数据的采集方法，其特征在于，所述任务管理中心还与备用采集器连接，所述方法还包括：

确定所述任务队列中的任务数量大于阈值数量的状态持续预设时长，控制所述备用采集器执行所述任务队列中的任务。

10.一种采集器，其特征在于，所述采集器与任务管理中心连接，所述采集器包括：

任务获取模块，用于在所述采集器处于空闲状态时，访问所述任务管理中心上的任务队列，获取所述任务队列中与所述采集器的最大处理能力匹配的采集任务；

任务执行模块，用于执行所述采集任务，采集对应的被采集对象的数据；将所述数据发送给目标设备。

11.一种任务管理中心，其特征在于，所述任务管理中心与采集器连接，所述任务管理中心包括：

任务获取模块，用于获取待执行的采集任务；

任务分发模块，用于将所述采集任务加入到所述任务管理中心的任务队列中，以使所述采集器在处于空闲状态时，所述采集器通过访问所述任务队列而获取与所述采集器的最大处理能力匹配的所述采集任务。

12.一种任务处理系统，其特征在于，任务处理系统包括：采集器，以及与所述采集器连接的任务管理中心，

所述采集器，用于执行如权利要求1-5任一权项所述的数据的采集方法；

所述任务管理中心，用于执行如权利要求6-9任一权项所述的数据的采集方法。

Images