CN112732428A - 数据采集方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请实施例提供一种数据采集方法、装置、电子设备和存储介质，所述数据采集方法包括：获取当前采集域中的采集节点的个数；基于所述采集节点的个数，为所述采集域中的每个所述采集节点分配预设分片序号；基于所述预设分片序号，加载所述采集节点对应的采集任务；根据所述采集任务的采集方式，调用对应的采集管理器进行数据采集。本申请实现了提高数据采集的完整性。

Description

数据采集方法、装置、电子设备和存储介质

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种数据采集方法、装置、电子设备和存储介质。

背景技术

现在电信网络的规模都很大，用到的设备、软件种类繁多，广泛的区分IT、CT、IOT等设备；细分包括网络设备、中间件、数据库、虚拟化、云平台等。面对种类繁多的设备、软件的监控采集往往需要部署N多套监控采集系统，这就无形中增加了开发和运维的成本，多套采集系统并行运行，造成极大的人力资源浪费。

传统的采集基本都是任务单采集，很容易出现因承载采集任务采集机宕机、服务中断等原因导致该采集机上运行任务执行失败，从而导致采集的缺失。

发明内容

本申请实施例的目的在于提供一种数据采集方法、装置、电子设备和存储介质，用以实现提高数据采集的完整性。

本申请实施例第一方面提供了一种数据采集方法，包括：获取当前采集域中的采集节点的个数；基于所述采集节点的个数，为所述采集域中的每个所述采集节点分配预设分片序号；基于所述预设分片序号，加载所述采集节点对应的采集任务；根据所述采集任务的采集方式，调用对应的采集管理器进行数据采集。

于一实施例中，所述方法还包括：对所述采集节点进行监控；当所述采集节点启动时，将所述采集节点加入所述采集域；当所述采集域中的所述采集节点停止时，将所述采集节点从所述采集域中删除。

于一实施例中，所述当所述采集节点启动时，将所述采集节点加入所述采集域，包括：发送所述采集节点的注册信息至注册中心；判断所述采集域中是否已经存在其他采集节点；当所述采集域中不存在其他采集节点时，在所述采集域中创建所述采集节点并标记为第一节点，所述第一节点为主节点；当所述采集域中已经存在其他采集节点时，将所述采集节点加入所述采集域并生成节点编号。

于一实施例中，所述当所述采集域中的所述采集节点停止时，将所述采集节点从所述采集域中删除，包括：判断停止的所述采集节点是否为主节点；当停止的所述采集节点为主节点时，将所述采集节点从所述采集域中删除，按照预设规则重新确定主节点；当停止的所述采集节点不为主节点时，将所述采集节点从所述采集域中删除。

于一实施例中，所述基于所述采集节点的个数，为所述采集域中的每个所述采集节点分配预设分片序号，包括：当所述预设分片序号的个数是所述采集节点的个数的整数倍时，将所述预设分片序号平均分配给每个所述采集节点；当所述预设分片序号的个数不是所述采集节点的个数的整数倍时，将所述预设分片序号平均分配给每个所述采集节点，多余的所述预设分片序号分配给所述主节点。

于一实施例中，所述采集任务携带任务编号，所述基于所述预设分片序号，加载所述采集节点对应的采集任务，包括：当所述采集节点的分片序号包括第一数值时，加载所述任务编号的预设位数为所述第一数值的采集任务。

于一实施例中，所述根据所述采集任务的采集方式，调用对应的采集管理器进行数据采集，包括：判断当前时间与上一次采集时间的时间差是否达到预设时长若当前时间与上一次采集时间的时间差达到预设时长，则根据所述采集任务的采集方式，调用对应的采集管理器进行数据采集。

本申请实施例第二方面提供了一种数据采集装置，包括：获取模块，用于获取当前采集域中的采集节点的个数；分配模块，用于基于所述采集节点的个数，为所述采集域中的每个所述采集节点分配预设分片序号；加载模块，用于基于所述预设分片序号，加载所述采集节点对应的采集任务；采集模块，用于根据所述采集任务的采集方式，调用对应的采集管理器进行数据采集。

于一实施例中，还包括监控模块，用于对所述采集节点进行监控；当所述采集节点启动时，将所述采集节点加入所述采集域；当所述采集域中的所述采集节点停止时，将所述采集节点从所述采集域中删除。

于一实施例中，所述监控模块具体用于：发送所述采集节点的注册信息至注册中心；判断所述采集域中是否已经存在其他采集节点；当所述采集域中不存在其他采集节点时，在所述采集域中创建所述采集节点并标记为第一节点，所述第一节点为主节点；当所述采集域中已经存在其他采集节点时，将所述采集节点加入所述采集域并生成节点编号。

于一实施例中，所述监控模块具体用于：判断停止的所述采集节点是否为主节点；当停止的所述采集节点为主节点时，将所述采集节点从所述采集域中删除，按照预设规则重新确定主节点；当停止的所述采集节点不为主节点时，将所述采集节点从所述采集域中删除。

于一实施例中，所述分配模块具体用于：当所述预设分片序号的个数是所述采集节点的个数的整数倍时，将所述预设分片序号平均分配给每个所述采集节点；当所述预设分片序号的个数不是所述采集节点的个数的整数倍时，将所述预设分片序号平均分配给每个所述采集节点，剩余的所述预设分片序号分配给所述主节点。

于一实施例中，所述加载模块具体用于：当所述采集节点的分片序号包括第一数值时，加载所述任务编号的预设位数为所述第一数值的采集任务。

于一实施例中，所述采集模块具体用于：判断当前时间与上一次采集时间的时间差是否达到预设时长；若当前时间与上一次采集时间的时间差达到预设时长，则根据所述采集任务的采集方式，调用对应的采集管理器进行数据采集。

本申请实施例第三方面提供了一种电子设备，包括：存储器，用以存储计算机程序；处理器，用以执行本申请实施例第一方面及其任一实施例的方法。

本申请实施例第四方面提供了一种非暂态电子设备可读存储介质，包括：程序，当其藉由电子设备运行时，使得所述电子设备执行本申请实施例第一方面及其任一实施例的方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请一实施例的数据采集方法的流程示意图；

图2为本申请一实施例的数据采集装置的结构示意图；

图3为本申请一实施例的电子设备的结构示意图。

附图标记：

200-数据采集装置，210-获取模块，220-分配模块，230-加载模块，240-采集模块，250-监控模块，300-电子设备，310-总线，320-处理器，330-存储器。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，并不表示排列序号，也不能理解为指示或暗示相对重要性。

在本申请的描述中，术语“包括”、“包含”等表示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其他特征、步骤、操作、元素、组件和/或其集合的存在或添加。

在本申请的描述中，除非另有明确的规定和限定，术语“安装”、“设置”、“设有”、“连接”、“配置为”应做广义理解。例如，可以是固定连接，也可以是可拆卸连接，或整体式构造；可以是机械连接，也可以是电连接；可以是直接相连，也可以是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

在现有的电信网络中，一般需要对网络设备、中间件、数据库、虚拟化、云平台等多种设备、软件进行监控采集，本申请可以提供统一的对外微服务rest访问能力，规范化统一化的任务入口加载采集任务，按照采集手段方式特定抽象处理后抽象出agent(代理终端)、jmx(Java Management Extensions，Java管理扩展)、sql(Structured Query Language，结构化查询语言)、snmp(Simple Network Management Protocol，简单网络管理协议)、ssh(Secure Shell，安全外壳协议)、telnet(远程终端协议)、ipmi(Intelligent PlatformManagement Interface，智能平台管理接口)等各类采集管理器，通过各类采集管理器实现统一的采集插件抽象接口，实现全栈数据采集，集中插件管理，可以集中资源优势统一技术栈、统一采集、统一通道，进行全局把控，降低开发和运维成本。并且，本申请对采集机进行集群化管理和采集任务的分布式调度，当采集机出现宕机、服务中断等影响采集任务正常执行的情况时，可以进行采集任务的自动转移，避免采集数据的缺失，保证了采集数据的完整性。

请参看图1，其为本申请一实施例的数据采集方法的流程示意图，该方法可由下述实施例中的电子设备300来执行，以实现提高数据采集的完整性。该方法包括如下步骤：

步骤110：获取当前采集域中的采集节点的个数。

在上述步骤中，一个采集节点可以为一个采集机(probe)。

于一实施例中，可以对采集节点进行监控；当采集节点启动时，将采集节点加入采集域；当采集域中的采集节点停止时，将采集节点从采集域中删除。

在上述步骤中，每次采集域中的采集节点发生变动后，都需要重新执行步骤110及其后续步骤。

于一实施例中，当采集节点启动时，将采集节点加入采集域，包括：发送采集节点的注册信息至注册中心；判断采集域中是否已经存在其他采集节点；当采集域中不存在其他采集节点时，在采集域中创建采集节点并标记为第一节点，第一节点为主节点；当采集域中已经存在其他采集节点时，将采集节点加入采集域并生成节点编号。

在上述步骤中，当有probe启动时，发送probe的注册信息至注册中心(zookeeper)，该注册信息包括但不限于probe的启动时间、状态(活动/不活动)、probe的应用IP信息等。

当probe1启动时，发送probe1的注册信息至注册中心，判断采集域中是否已经存在其他采集节点，若采集域中不存在其他采集节点，则在采集域中创建probe1，并标记为第一节点，并且probe1被选举为主节点，当probe2启动时，由于采集域中已经存在probe1，则将probe2加入采集域，并标记为第二节点，同理当probe3启动时，将preobe3加入采集域，并标记为第三节点。

于一实施例中，当采集域中的采集节点停止时，将采集节点从采集域中删除，包括：判断停止的采集节点是否为主节点；当停止的采集节点为主节点时，将采集节点从采集域中删除，按照预设规则重新确定主节点；当停止的采集节点不为主节点时，将采集节点从采集域中删除。

在上述步骤中，按照预设规则重新确定主节点可以是将下一节点作为主节点，接上述例子，当采集域中的probe1停止时，probe1为主节点，则将probe1从采集域中删除，并将第二节点probe2作为主节点，当采集域中的probe3停止时，probe3不是主节点，则将probe3从采集域中删除。

步骤120：基于采集节点的个数，为采集域中的每个采集节点分配预设分片序号。

于一实施例中，基于采集节点的个数，为采集域中的每个采集节点分配预设分片序号，可以包括：当预设分片序号的个数是采集节点的个数的整数倍时，将预设分片序号平均分配给每个采集节点。

于一实施例中，基于采集节点的个数，为采集域中的每个采集节点分配预设分片序号，可以包括：当预设分片序号的个数不是采集节点的个数的整数倍时，将预设分片序号平均分配给每个采集节点，多余的预设分片序号分配给主节点。

在上述步骤中，预设分片序号的个数可以为10，预设分片序号可以为0-9这十个数，若采集域中仅有主节点probe1，则probe1分配到的预设分片序号为0,1,2,3,4,5,6,7,8,9。若采集域中仅有主节点probe1和一个从节点probe2，则将预设分片序号0-9平均分配给probe1和probe2。预设分片序号分配顺序可以是依次分配，也可以是随机分配，例如可以是probe1分配到的预设分片序号为0,1,2,3,4,而probe2分配到的预设分片序号为5,6,7,8,9，也可以是probe1分配到的预设分片序号为0,2,4,6,8,而probe2分配到的预设分片序号为1,3,5,7,9。

若采集域中仅有主节点probe1和两个从节点probe2、probe3，则将预设分片序号0-9平均分配给probe1、probe2和probe3，多余的预设分片序号分配给主节点probe1，例如可以是probe1分配到的预设分片序号为0,1,2,3,而probe2分配到的预设分片序号为4，5,6,probe3分配到的预设分片序号为7,8,9，也可以是probe1分配到的预设分片序号为0,1,2,9,而probe2分配到的预设分片序号为3，4，5,probe3分配到的预设分片序号为6，7,8。

若采集域中的采集节点发生变化，需对采集域中的每个采集节点重新分配预设分片序号。若采集域中的主节点probe1停止，则采集域中只剩下probe2和probe3，probe2成为主节点，probe2分配到的预设分片序号为0,1,2,3,4,而probe3分配到的预设分片序号为5,6,7,8,9。若probe3也停止了，则采集域中只剩下主节点probe2，probe2分配到的预设分片序号为0,1,2,3,4,5,6,7,8,9。

在实际应用中，可以根据需要设置更多或更少的预设分片序号，预设分片序号可以为个位数，也可以为两位数。

步骤130：基于预设分片序号，加载采集节点对应的采集任务。

于一实施例中，基于预设分片序号，通过统一的任务入口加载采集节点对应的采集任务，可以包括：当采集节点的分片序号包括第一数值时，采集节点通过统一的任务入口加载任务编号的预设位数为第一数值的采集任务。其中，该统一的任务入口为提供统一的对外微服务rest访问能力、规范化统一化的任务入口。

在上述步骤中，采集任务都携带有唯一的任务编号(taskNo)，每个probe根据自身分配到的预设分片序号，从统计任务接口中加载任务编号的预设位数与预设分片序号相同的采集任务，该预设位数可以是最后一位或者最后两位。于一实施例中，采集任务的taskNo可以通过哈希算法生成。

当预设分片序号均为个位数时，预设位数可以是最后一位，例如预设分片序号为0-9这十个数，则采集任务的taskNo生成时，可以通过简单算法尽量保证末尾数字散列在0-9上。probe1的预设分片序号为0，1,2,3，则probe1加载的采集任务的任务编号末尾也只能是0,1,2,3中的一个，例如，采集任务的taskNo为138105080909396971，则probe1就可以加载该采集任务。

当预设分片序号存在两位数时，预设位数可以是最后两位，例如预设分片序号为0-15这十六个数，probe1的预设分片序号为8,9,10,11，则probe1加载的采集任务的任务编号末尾也只能是08,09,10,11中的一个。

相应的，若监控到采集域中的采集节点发生变化，采集节点会触发采集任务重新分配加载，采集任务自动实现转移。例如：probe1分配到的预设分片序号为0,1,2,3,probe2分配到的预设分片序号为4，5,6,probe3分配到的预设分片序号为7,8,9，若probe1停止，则probe2分配到的预设分片序号变更为0,1,2,3,4,probe3分配到的预设分片序号变更为5,6,7,8,9，任务编号末尾为0,1,2,3的采集任务从probe1转移到probe2，任务编号末尾为5,6的采集任务从probe2转移到probe3。

步骤140：根据采集任务的采集方式，调用对应的采集管理器进行数据采集。

在上述步骤中，打破传统软件分类思想(例如，按oracle、mysql、zookeeper、es等分类采集思想)，根据不同的采集方式，经过特定的抽象处理，预先抽象形成了不同的采集管理器，其中，采集方式包括但不限于：agent、jmx、sql、snmp、ssh、telnet、ipmi等。对应的，采集管理器包括但不限于：agent采集管理器、jmx采集管理器、sql采集管理器、snmp采集管理器、ssh采集管理器、telnet采集管理器、ipmi采集管理器等。上述采集管理器均可实现采集插件抽象4接口，其中该采集插件抽象4接口包括：doTest(测试接口)、doCollect(采集接口)、doConfig(配置接口)和doExec(执行接口)。

可以将采集到的数据转换封装为统一格式发送至数据发送中心进行数据的输出，该统一格式可以为采集插件数据格式，并不局限于此。Probe可以针对自己的采集任务，采用线程池的方式进行周期性的任务调度。

于一实施例中，根据采集任务的采集方式，调用对应的采集管理器进行数据采集，可以包括：判断当前时间与上一次采集时间的时间差是否达到预设时长；若当前时间与上一次采集时间的时间差达到预设时长，则根据采集任务的采集方式，调用对应的采集管理器进行数据采集。

在上述步骤中，每次任务调度后都会进行最新采集时间的缓存，然后单独的检测线程每隔预设检测时长对已经加载的采集任务进行检测，判断当前时间与上一次采集时间的时间差是否达到预设时长，其中，预设检测时长小于该预设时长。

于一实施例中，预设检测时长可以为30秒，预设时长可以为5分钟。单独的检测线程每隔30秒对已经加载的采集任务进行检测，判断当前时间与上一次采集时间的时间差是否达到5分钟，若当前时间与上一次采集时间的时间差达到5分钟，则根据采集任务的采集方式，调用对应的采集管理器进行数据采集，若当前时间与上一次采集时间的时间差未达到5分钟，则不进行调用，等待30秒后进行下一次检测。

于一实施例中，若后续因为运行的采集任务增多或者时间变久，导致采集节点执行任务量不均衡，例如probe1上执行70％的任务，probe2上执行30％的任务，出现任务不均衡，则可以根据当前任务执行比例重新计算，将probe1上多余的40％任务的taskNo再次均衡自动生成变更一次，使probe1和probe2上运行的任务尽量保持平衡。

本申请的数据采集方法通过对采集机进行集群化管理和任务分布式调度，实现不因采集机出现问题而影响采集任务的正常进行，避免采集数据的缺失，保证了采集数据的完整性和连续性。

如图2所示，其为本申请一实施例的数据采集装置200的结构示意图，该装置可应用于图3所示的电子设备300，包括：获取模块210、分配模块220、加载模块230和采集模块240。各个模块的原理关系如下：

获取模块210，用于获取当前采集域中的采集节点的个数；

分配模块220，用于基于采集节点的个数，为采集域中的每个采集节点分配预设分片序号；

加载模块230，用于基于预设分片序号，加载采集节点对应的采集任务；

采集模块240，用于根据采集任务的采集方式，调用对应的采集管理器进行数据采集。

于一实施例中，数据采集装置200还包括：监控模块250，用于对采集节点进行监控；当采集节点启动时，将采集节点加入采集域；当采集域中的采集节点停止时，将采集节点从采集域中删除。

于一实施例中，监控模块250具体用于：发送采集节点的注册信息至注册中心；判断采集域中是否已经存在其他采集节点；当采集域中不存在其他采集节点时，在采集域中创建采集节点并标记为第一节点，第一节点为主节点；当采集域中已经存在其他采集节点时，将采集节点加入采集域并生成节点编号。

于一实施例中，监控模块250具体用于：判断停止的采集节点是否为主节点；当停止的采集节点为主节点时，将采集节点从采集域中删除，按照预设规则重新确定主节点；当停止的采集节点不为主节点时，将采集节点从采集域中删除。

于一实施例中，分配模块220具体用于：当预设分片序号的个数是采集节点的个数的整数倍时，将预设分片序号平均分配给每个采集节点；当预设分片序号的个数不是采集节点的个数的整数倍时，将预设分片序号平均分配给每个采集节点，剩余的预设分片序号分配给主节点。

于一实施例中，加载模块230具体用于：当采集节点的分片序号包括第一数值时，加载任务编号的预设位数为第一数值的采集任务。

于一实施例中，采集模块240具体用于：判断当前时间与上一次采集时间的时间差是否达到预设时长；若当前时间与上一次采集时间的时间差达到预设时长，则根据采集任务的采集方式，调用对应的采集管理器进行数据采集。

上述数据采集装置200的详细描述，请参见上述实施例中相关方法步骤的描述。

如图3所述，其为本申请一实施例的电子设备300的结构示意图，包括至少一个处理器320和存储器330，图3中以一个处理器为例。处理器320和存储器330通过总线310连接，存储器330存储有可被至少一个处理器320执行的指令，指令被至少一个处理器320执行，以使至少一个处理器320执行如下述实施例中的数据采集方法。

于一实施例中，处理器320可以是通用处理器，包括但不限于中央处理器(CentralProcessing Unit，CPU)、网络处理器(Network Processor，NP)等，还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器320是电子设备300的控制中心，利用各种接口和线路连接整个电子设备300的各个部分。处理器320可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。

于一实施例中，存储器330可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，包括但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，静态随机存取存储器(Static Random Access Memory，简称SRAM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(ElectricErasable Programmable Read-Only Memory，EEPROM)等。

图3所示的电子设备300的结构仅为示意，电子设备300还可包括比图3中所示更多或者更少的组件，或者具有与图3所示不同的配置。图3中所示的各组件可以采用硬件、软件或其组合实现。

本发明实施例还提供了一种电子设备可读存储介质，包括：程序，当其在电子设备上运行时，使得电子设备可执行上述实施例中方法的全部或部分流程。其中，存储介质可为磁盘、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等。存储介质还可以包括上述种类的存储器的组合。

在本申请所提供的几个实施例中，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。

在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。以上仅为本申请的优选实施例而已，仅用于说明本申请的技术方案，并不用于限制本申请。对于本技术领域的普通技术人员而言，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种数据采集方法，其特征在于，包括：

获取当前采集域中的采集节点的个数；

基于所述采集节点的个数，为所述采集域中的每个所述采集节点分配预设分片序号；

基于所述预设分片序号，加载所述采集节点对应的采集任务；

根据所述采集任务的采集方式，调用对应的采集管理器进行数据采集。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述采集节点进行监控；

当所述采集节点启动时，将所述采集节点加入所述采集域；

当所述采集域中的所述采集节点停止时，将所述采集节点从所述采集域中删除。

3.根据权利要求2所述的方法，其特征在于，所述当所述采集节点启动时，将所述采集节点加入所述采集域，包括：

发送所述采集节点的注册信息至注册中心；

判断所述采集域中是否已经存在其他采集节点；

当所述采集域中不存在所述其他采集节点时，在所述采集域中创建所述采集节点并标记为第一节点，所述第一节点为主节点；

当所述采集域中已经存在所述其他采集节点时，将所述采集节点加入所述采集域并生成节点编号。

4.根据权利要求2所述的方法，其特征在于，所述当所述采集域中的所述采集节点停止时，将所述采集节点从所述采集域中删除，包括：

判断停止的所述采集节点是否为主节点；

当停止的所述采集节点为主节点时，将所述采集节点从所述采集域中删除，按照预设规则重新确定主节点；

当停止的所述采集节点不为主节点时，将所述采集节点从所述采集域中删除。

5.根据权利要求3所述的方法，其特征在于，所述基于所述采集节点的个数，为所述采集域中的每个所述采集节点分配预设分片序号，包括：

当所述预设分片序号的个数是所述采集节点的个数的整数倍时，将所述预设分片序号平均分配给每个所述采集节点；

当所述预设分片序号的个数不是所述采集节点的个数的整数倍时，将所述预设分片序号平均分配给每个所述采集节点，多余的所述预设分片序号分配给所述主节点。

6.根据权利要求1所述的方法，其特征在于，所述采集任务携带任务编号，所述基于所述预设分片序号，加载所述采集节点对应的采集任务，包括：

当所述采集节点的分片序号包括第一数值时，加载所述任务编号的预设位数为所述第一数值的采集任务。

7.根据权利要求1所述的方法，其特征在于，所述根据所述采集任务的采集方式，调用对应的采集管理器进行数据采集，包括：

判断当前时间与上一次采集时间的时间差是否达到预设时长；

若当前时间与上一次采集时间的时间差达到预设时长，则根据所述采集任务的采集方式，调用对应的采集管理器进行数据采集。

8.一种数据采集装置，其特征在于，包括：

获取模块，用于获取当前采集域中的采集节点的个数；

分配模块，用于基于所述采集节点的个数，为所述采集域中的每个所述采集节点分配预设分片序号；

加载模块，用于基于所述预设分片序号，加载所述采集节点对应的采集任务；

采集模块，用于根据所述采集任务的采集方式，调用对应的采集管理器进行数据采集。

9.一种电子设备，其特征在于，包括：

存储器，用以存储计算机程序；

处理器，用以执行如权利要求1至7中任一项所述的方法。

10.一种非暂态电子设备可读存储介质，其特征在于，包括：程序，当其藉由电子设备运行时，使得所述电子设备执行权利要求1至7中任一项所述的方法。

Images