CN113672673A - 数据采集方法及装置、存储介质及电子设备 - Google Patents

Abstract

本发明提供一种数据采集方法及装置、存储介质及电子设备，该方法包括：当接收到对各个业务系统进行数据采集的指令时，设定至少一个采集批次，在各个业务系统中，确定每个采集批次对应的各个业务系统；依次对每个采集批次对应的各个业务系统进行数据采集；对于当前采集批次对应的每个业务系统，判断该业务系统当前是否处于空闲状态，若该业务系统当前处于空闲状态，则执行该业务系统对应的数据采集任务；若当前采集批次对应的每个业务系统对应的数据采集任务均已完成，则结束当前采集批次对应的各个业务系统的数据采集过程。应用本发明的方法，可在业务系统处于空闲状态时进行数据采集，避免对系统性能造成影响，保障业务系统的正常运行。

Description

数据采集方法及装置、存储介质及电子设备

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据采集方法及装置、存储介质及电子设备。

背景技术

随着计算机技术的发展，各类业务系统已成为企业机构信息化架构中的重要组成部分。在日常的工作中，常常会需要采集各个业务系统的数据，例如金融行业中，金融机构需定期采集各个业务系统的数据以实现各个业务系统的数据同步。

目前，各个业务系统的数据采集方式，通常都是设置数据采集任务，在触发数据采集任务时，直接访问业务系统进行数据采集的。

在实际的应用场景中，数据采集任务亦会占用业务系统一定运行资源，在数据采集任务延迟等情况下，数据采集的时间可能会与业务系统的业务交易高峰期重叠。基于现有的数据采集方式，在业务系统的业务交易高峰期进行数据采集，容易给业务系统的性能造成不良影响，影响业务交易的正常处理。

发明内容

有鉴于此，本发明实施例提供了一种数据采集方法，以解决现有的数据采集方式容易给业务系统的性能造成不良影响，影响业务交易的正常处理的问题。

本发明实施例还提供了一种数据采集装置，用以保证上述方法实际中的实现及应用。

为实现上述目的，本发明实施例提供如下技术方案：

一种数据采集方法，包括：

当接收到对各个业务系统进行数据采集的指令时，设定至少一个采集批次，在所述各个业务系统中，确定每个所述采集批次对应的各个业务系统；

依次对每个所述采集批次对应的各个业务系统进行数据采集；

其中，每个所述采集批次对应的各个业务系统的数据采集过程，包括：

对于当前采集批次对应的每个业务系统，判断该业务系统当前是否处于空闲状态，若该业务系统当前处于空闲状态，则执行该业务系统对应的数据采集任务；

若所述当前采集批次对应的每个业务系统对应的数据采集任务均已完成，则结束所述当前采集批次对应的各个业务系统的数据采集过程。

上述的方法，可选的，所述在所述各个业务系统中，确定每个所述采集批次对应的各个业务系统，包括：

确定所述各个业务系统中每个业务系统对应的优先级；

确定每个所述采集批次对应的批次顺序；

基于每个所述业务系统对应的优先级，在各个所述采集批次对应的批次顺序中，确定每个所述业务系统对应的批次顺序；

将每个所述业务系统分配至其对应的批次顺序所对应的采集批次，并将分配至每个所述采集批次的每个业务系统确定为该采集批次对应的业务系统。

上述的方法，可选的，所述判断该业务系统当前是否处于空闲状态，包括：

确定当前该业务系统对应的资源使用参数；

判断所述资源使用参数是否小于预设使用阈值；

若所述资源使用参数小于所述预设使用阈值，则确定该业务系统当前处于空闲状态。

上述的方法，可选的，所述确定当前该业务系统对应的资源使用参数，包括：

确定该业务系统对应的每个数据库节点；

确定资源使用率集合，所述资源使用率集合中包括当前每个所述数据库节点对应的各个资源使用率；

在所述资源使用率集合中确定目标资源使用率，所述目标资源使用率为所述资源使用率集合中数值最大的资源使用率；

将所述目标资源使用率确定为当前该业务系统对应的资源使用参数。

上述的方法，可选的，还包括：

若该业务系统当前未处于空闲状态，则按预设的判断周期对该业务系统的系统状态进行判断；

在进入当前的判断周期时，判断该业务系统当前是否处于空闲状态，若该业务系统当前未处于空闲状态，则确定当前的判断次数，并判断所述当前的判断次数是否小于预设次数；

若所述当前的判断次数小于所述预设次数，则进入下一个判断周期，若所述当前的判断次数不小于所述预设次数，则结束对该业务系统的系统状态进行判断，并提示该业务系统对应的异常信息，以完成该业务系统对应的数据采集任务。

上述的方法，可选的，所述执行该业务系统对应的数据采集任务，包括：

确定该业务系统对应的各个数据库节点，并确定该业务系统对应的每个所述数据库节点所对应的采集顺序；

按照各个所述数据库节点对应的采集顺序，依次采集各个所述数据库节点中存储的数据。

上述的方法，可选的，所述按照各个所述数据库节点对应的采集顺序，依次采集各个所述数据库节点中存储的数据，包括：

在该业务系统对应的所述各个数据库节点中，确定第一数据库节点，所述第一数据库节点为所述各个数据库节点中的首个数据库节点；

启动所述第一数据库节点对应的数据采集任务，以采集所述第一数据库节点中存储的数据；

确定待采集的节点集合，所述待采集的节点集合中包括所述各个数据库节点中除所述第一数据库节点外的各个数据库节点；

确定所述待采集的节点集合中每个数据库节点对应的目标数据库节点，每个所述数据库节点对应的目标数据库节点为该数据库节点的前一个数据库节点；

对于所述待采集的节点集合中的每个数据库节点，当该数据库节点对应的目标数据库节点所对应的数据采集任务启动后，判断该业务系统当前是否处于空闲状态，若该业务系统当前处于空闲状态，则启动该数据库节点对应的数据采集任务，以采集该数据库节点中存储的数据。

一种数据采集装置，包括：

确定单元，用于所述当接收到对各个业务系统进行数据采集的指令时，设定至少一个采集批次，在所述各个业务系统中，确定每个所述采集批次对应的各个业务系统；

采集单元，用于依次对每个所述采集批次对应的各个业务系统进行数据采集；

其中，所述采集单元，包括：

采集子单元，用于对于当前采集批次对应的每个业务系统，判断该业务系统当前是否处于空闲状态，若该业务系统当前处于空闲状态，则执行该业务系统对应的数据采集任务；若所述当前采集批次对应的每个业务系统对应的数据采集任务均已完成，则结束所述当前采集批次对应的各个业务系统的数据采集过程。

一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行如上述的数据采集方法。

一种电子设备，包括存储器，以及一个或者一个以上的指令，其中一个或者一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行如上述的数据采集方法。

基于上述本发明实施例提供的一种数据采集方法，当接收到对各个业务系统进行数据采集的指令时，设定至少一个采集批次，在所述各个业务系统中，确定每个所述采集批次对应的各个业务系统；依次对每个所述采集批次对应的各个业务系统进行数据采集；其中，每个所述采集批次对应的各个业务系统的数据采集过程，包括：对于当前采集批次对应的每个业务系统，判断该业务系统当前是否处于空闲状态，若该业务系统当前处于空闲状态，则执行该业务系统对应的数据采集任务；若所述当前采集批次对应的每个业务系统对应的数据采集任务均已完成，则结束所述当前采集批次对应的各个业务系统的数据采集过程。应用本发明实施例提供的方法，在业务系统处于空闲状态时才会执行该业务系统对应的数据采集任务，可避免在业务系统的业务交易高峰期进行数据采集，给业务系统的性能造成影响，有利于保障业务系统的正常业务交易处理。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种数据采集方法的方法流程图；

图2为本发明实施例提供的一种业务系统的资源使用情况的示意图；

图3为本发明实施例提供的一种数据采集方法的又一方法流程图；

图4为本发明实施例提供的一种数据采集装置的结构示意图；

图5为本发明实施例提供的一种数据采集装置的又一结构示意图；

图6为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

由背景技术可知，现有的数据采集方式容易给业务系统的性能造成不良影响。例如在金融行业中，数据采集已由依靠上游业务系统进行文件推送的方式，改变为了主动抽取。针对批量业务系统的数据采集，一般采用的是库对库的批量采集方式，通常会在凌晨，这一业务交易系统的空闲阶段，完成大数据批量数据采集，此时业务系统使用资源有限，批量数据采集可以提高并发任务。但若是批量数据采集任务遇到延迟情况，效率会大大下降，例如当日核心业务系统出现故障，大数据批量采集任务需等核心业务系统修复完故障后才能进行数据采集，若核心业务系统修复故障时间稍长，到了日间，业务交易量开始激增，批量数据采集任务会对其造成性能影响，甚至可能会直接影响核心业务交易。

因此，本发明实施例提供了一种数据采集方法，在业务系统处于相对空闲的状态下，才对其进行数据采集，可避免对业务系统的正常工作造成影响。

本发明实施例提供了一种数据采集方法，所述方法可应用于数据采集系统，其执行主体可以为系统的处理器，所述方法的方法流程图如图1所示，包括：

S101：当接收到对各个业务系统进行数据采集的指令时，设定至少一个采集批次，在所述各个业务系统中，确定每个所述采集批次对应的各个业务系统；

本发明实施例提供的方法中，当用户(如金融机构的工作人员)需要通过数据采集系统对多个业务系统进行数据采集时，可以通过数据采集系统的前端图像化界面指定需采集数据的各个业务系统，并发送对应的数据采集指令。当系统的处理器接收到该指令时，可根据需采集数据的业务系统的数量和系统的处理能力，设置至少一个采集批次，以对各个业务系统进行分批处理。例如需要采集数据的业务系统总共有五十个，而根据当前数据采集系统的处理能力，同时处理十个业务系统的数据采集工作较为合理，则设定五个采集批次，将这五十个业务系统划分到五个采集批次中，每个业务系统分配至一个采集批次中，每个采集批次中包含十个业务系统。

需要说明的是，本发明实施例中提及的业务系统的数量和采集批次的数量，仅为了更好地说明本发明实施例所提供的一个具体实施例，并非对具体实现过程中的业务系统数量和采集批次数量进行限定。

S102：确定进行数据采集的当前采集批次；

本发明实施例提供的方法中，需依次对每个采集批次对应的各个业务系统进行数据采集，也就是先对第一批业务系统进行数据采集，完成第一批业务系统的数据采集后，对第二批业务系统进行数据采集，直至完成最后一批业务系统的数据采集工作。需要说明的是，若仅有一个采集批次，则同时对所有业务系统进行数据采集即可，不影响本发明实施例提供的方法实现功能。

在每个采集批次的各个业务系统对应的数据采集过程中，先确定当前需进行数据采集的采集批次，以确定当前需进行数据采集的各个业务系统。

S103：对于当前采集批次对应的每个业务系统，判断该业务系统当前是否处于空闲状态；

本发明实施例提供的方法中，可通过并行任务，判断当前采集批次中的每个业务系统是否处于空闲状态。具体的，可以根据业务系统的资源使用情况，确定其是否处于空闲状态。

S104：执行该业务系统对应的数据采集任务；

本发明实施例提供的方法中，对于当前采集批次的每个业务系统，若该业务系统当前处于空闲状态，则执行该业务系统对应的数据采集任务，也就是访问该业务系统对应的数据库，获取数据库中存储的数据。

S105：若所述当前采集批次对应的每个业务系统对应的数据采集任务均已完成，则结束所述当前采集批次对应的各个业务系统的数据采集过程；

本发明实施例提供的方法中，若当前采集批次的每个业务系统的数据采集任务已完成，则完成当前采集批次的数据采集过程。数据采集任务的完成，可以是以已获取该任务对应的数据作为结束，也可以是以任务失败作为结束。

S106：判断所述当前采集批次是否为最后一个采集批次；

本发明实施例提供的方法中，若当前采集批次对应的各个业务系统的数据采集过程已结束，则根据当前采集批次的批次顺序和总批次顺序，判断当前采集批次是不是所有采集批次中的最后一个批次。

S107：进入下一个采集批次；

本发明实施例提供的方法中，如果当前采集批次不是所有采集批次中的最后一个采集批次，即当前仍存在需要进行数据采集的业务系统，则进入下一个采集批次对应的各个业务系统的数据采集过程。

S108：结束。

本发明实施例提供的方法中，如果当前采集批次是所有采集批次中的最后一个采集批次，即本次需进行数据采集的各个业务系统的数据采集任务均已完成，则结束本次数据采集过程。

基于本发明实施例提供的方法，当接收到对各个业务系统进行数据采集的指令时，可对各个业务系统进行分批；依次对每个采集批次对应的各个业务系统进行数据采集；在每个采集批次对应的各个业务系统的数据采集过程中，对于当前采集批次对应的每个业务系统，判断该业务系统当前是否处于空闲状态，若该业务系统当前处于空闲状态，则执行该业务系统对应的数据采集任务；若当前采集批次对应的每个业务系统对应的数据采集任务均已完成，则结束当前采集批次对应的各个业务系统的数据采集过程。应用本发明实施例提供的方法，对于当前需采集数据的业务系统，可判断其当前是否处于空闲状态，在业务系统当前处于空闲状态才访问该业务系统进行数据采集，可避免在业务系统的交易高峰期进行访问，进一步加重业务系统的负担，有利于保障业务系统的正常业务交易处理。其次，可以分批对业务系统的数据进行采集，可在将数据采集系统的资源利用最大化的同时，平衡系统负载。

进一步的，本发明实施例提供了又一种数据采集方法，在图1所示方法的基础上，本发明实施例提供的方法中，步骤S101中所提及在所述各个业务系统中，确定每个所述采集批次对应的各个业务系统，包括：

确定所述各个业务系统中每个业务系统对应的优先级；

本发明实施例提供的方法中，用户可以根据每个业务系统的数据采集的重要程度，预先为每个业务系统设置其对应的优先级。例如当前有系统A、系统B、系统C、系统D、系统E、系统F、系统G、系统H、系统I、系统J等十个业务系统。系统A、系统B、系统C和系统D分别对应的优先级均为高，系统E、系统F和系统G分别对应的优先级均为中，而系统H、系统I和系统J分别对应的优先级均为低。

确定每个所述采集批次对应的批次顺序；基于每个所述业务系统对应的优先级，在各个所述采集批次对应的批次顺序中，确定每个所述业务系统对应的批次顺序；

本发明实施例提供的方法中，按照各个业务系统对应的优先级，可确定每个业务系统所对应的采集批次的批次顺序，优先级高的业务系统对应顺序在前的批次顺序。例如当前设定了三个采集批次，每个采集批次最多包含四个业务系统。按照优先级高低顺序，对应优先级高的系统A、系统B、系统C和系统D对应第一个批次顺序，对应优先级中的系统E、系统F、系统G以及对应优先级低的系统H则对应第二个批次顺序，而对应优先级低的系统I和系统J对应第三个批次顺序。在实际的实现过程中，可能存在同一个采集批次中存在对应不同优先级的业务系统，如上述第二个采集批次中存在优先级中和优先级低的业务系统，而对应相同优先级的业务系统可能需对应不同批次顺序，如上述优先级低的业务系统，此时可以随机进行分配，如上随机将系统H对应第二个批次顺序，而其余对应优先级低的系统则对应第三个批次顺序。

将每个所述业务系统分配至其对应的批次顺序所对应的采集批次，并将分配至每个所述采集批次的每个业务系统确定为该采集批次对应的业务系统。

本发明实施例提供的方法中，将每个业务系统分配至每个业务系统对应的批次顺序所对应的采集批次。如按照上述步骤中示出的对应关系进行分配，故将系统A、系统B、系统C和系统D分配至第一个采集批次，即第一个采集批次中包含系统A、系统B、系统C和系统D。系统E、系统F、系统G和系统H分配至第二个采集批次，即第二个采集批次中包含系统E、系统F、系统G和系统H。而系统I和系统J分配至第三个采集批次，即第三个采集批次中包含系统I和系统J。

需要说明的是，本发明实施例提供的方法中所提及的业务系统的数量，采集批次的数量、每个采集批次中包含的系统数量以及优先级别的表征方式等内容，均是为了更好地说明本发明实施例提供的方法所提供的示意性说明，在具体的实现过程中上述内容均可按需确定。进一步的，在具体的实现过程中，还可以对优先级进行细化分级，为每个业务系统分配表征唯一优先程度的优先级。

基于本发明实施例提供的方法，可以对各个业务系统设置优先级，以根据优先级进行分配采集，可以优先采集重要性较高的业务系统的数据，有利于推动后续工作。

进一步，本发明实施例提供了另一种数据采集方法，在图1所示方法的基础上，本发明实施例提供的方法中，步骤S103中所提及的判断该业务系统当前是否处于空闲状态，包括：

确定当前该业务系统对应的资源使用参数；

本发明实施例提供的方法中，对于当前判断的业务系统，可确定其对应的资源使用参数，资源使用参数为表征该业务系统的资源使用情况的参数。该资源使用参数可以是CPU使用率、内存使用率或磁盘I/O占用率等等资源信息。

判断所述资源使用参数是否小于预设使用阈值，若所述资源使用参数小于所述预设使用阈值，则确定该业务系统当前处于空闲状态。

本发明实施例提供的方法中，可根据实际保障业务系统正常运行的资源需求，预先设置一个阈值。当系统的资源使用参数低于预设的使用阈值时，说明该系统当前较为空闲，负载较低，而系统的资源使用参数高于该使用阈值时，说明该系统当前负载较高。可将当前业务系统对应的资源使用参数与预设使用阈值进行比较，以判断该资源使用参数是否小于该预设使用阈值。若该资源使用参数小于该预设使用阈值，则确定当前的业务系统处于空闲状态。如当前业务系统对应的资源使用参数的数值为60％，而预设使用阈值为70％，即当前业务系统处于空闲状态。

基于本发明实施例提供的方法，通过业务系统的资源使用参数与预设使用阈值的比较判断业务系统当前是否处于空闲状态，参数获取较为方便，过程较为简单，可进一步提高处理效率。

为了更好地说明本发明实施例提供的方法，结合图2，本发明实施例提供了又一种数据采集方法，在上述实施例提供的方法的基础上，本发明实施例提供的方法中，所述确定当前该业务系统对应的资源使用参数的过程，包括：

确定该业务系统对应的每个数据库节点；

本发明实施例提供的方法中，每个业务系统可以设置有多个数据库节点，例如可设置多个数据库节点服务器，可以使用Mysql数据库、Oracle数据库等等。需要说明的是，具体应用的数据库类型不影响本发明实施例提供的方法实现功能。

如图2所示的业务系统的资源使用情况的示意图，A系统对应的Mysql集群中，包含节点1、节点2和节点3。

确定资源使用率集合，所述资源使用率集合中包括当前每个所述数据库节点对应的各个资源使用率；

本发明实施例提供的方法中，可以获取当前业务系统对应的每个数据库节点当前的资源使用率，对于每个数据库节点可同时获取多个资源使用率，如CPU使用率和内存使用率等等。具体的，可使用性能监控软件普罗米修斯(Prometheus)实现动态资源信息的采集。例如可以在每个Mysql节点服务器上部署mysqld-exporter，mysqld-exporter是Prometheus的监控插件，该插件可以读取Mysql中关于数据库状态的数据，将其转变为Prometheus监控的指标格式，并暴露成http接口被Prometheus所采集，可以让原本不支持Prometheus指标格式的Mysql能够被Prometheus监控。Prometheus可以实现多类数据库的详细资源使用情况的采集，且可以实现准实时采集。

在所述资源使用率集合中确定目标资源使用率，所述目标资源使用率为所述资源使用率集合中数值最大的资源使用率；将所述目标资源使用率确定为当前该业务系统对应的资源使用参数。

本发明实施例提供的方法中，可将各个数据库节点对应的资源使用率进行比较，将其中数值最大的资源使用率作为当前该业务系统对应的资源使用参数。如图2所示，节点1对应的各类资源使用率中，最大的资源使用率为50％，节点2对应的各类资源使用率中，最大的资源使用率为60％，节点3所对应的各类资源使用率中，最大的资源使用率为40％。经比较，其中数值最大的资源使用率则为节点2对应的60％，故确定A系统当前对应的资源使用参数的数值为60％。

基于本发明实施例提供的方法，可将业务系统对应的各个数据库节点对应的各类资源使用率中，当前数值最大的资源使用率确定为该业务系统对应的资源使用参数，可充分考虑业务系统的数据库节点的各类资源使用情况，有利于提高判断业务系统当前是否处于空闲状态的准确性。

为了更好地说明本发明实施例提供的方法，本发明实施例提供了又一种数据采集方法，在图1所示方法的基础上，如图3所示方法流程图，本发明实施例提供的方法中，还包括：

S201：若该业务系统当前未处于空闲状态，则按预设的判断周期对该业务系统的系统状态进行判断；

本发明实施例提供的方法中，对于每个业务系统，若在步骤S103所提及的判断过程中，经判断该业务系统当前未处于空闲状态，则按照预设的判断周期进行循环判断。具体的，可以按照预设的时间间隔对该业务系统的系统状态进行判断，例如在1分钟作为一个判断周期，每间隔1分钟进行一次判断。

S202：在进入当前的判断周期时，判断该业务系统当前是否处于空闲状态；

本发明实施例提供的方法中，当进入当前的判断周期，也就是到达预设的时间点时，通过预设的方法判断该业务系统当前是否处于空闲状态。具体的判断方法，可与步骤S103中所提及的判断过程采用相同的方式进行判断，具体可参见上述实施例中的说明，在此不再赘述。

如果在当前的判断周期的判断过程中，经判断该业务系统当前处于空闲状态，则停止对该业务系统的系统状态进行判断，而执行该业务系统对应的数据采集任务。

S203：确定当前的判断次数，并判断所述当前的判断次数是否小于预设次数；

本发明实施例提供的方法中，可对业务系统的系统状态进行判断的次数进行约束，预先设置一个次数阈值。在当前判断周期的判断过程中，若该业务系统当前未处于空闲状态，则确定当前已对该业务系统的系统状态进行判断的次数，也就是确定当前是第几个判断周期。将当前的判断次数与预设次数进行比较，以确定当前对该业务系统的系统状态的判断次数是否已达到了预设阈值。

S204：进入下一个判断周期；

本发明实施例提供的方法中，若所述当前的判断次数小于所述预设次数，则等待进入下一个判断周期，在到达下一个预设时间点时，对该业务系统的系统状态进行判断。

S205：结束对该业务系统的系统状态进行判断，并提示该业务系统对应的异常信息，以完成该业务系统对应的数据采集任务。

本发明实施例提供的方法中，若所述当前的判断次数不小于所述预设次数，则说明对该业务系统的系统状态进行判断的次数已达预设最大值，故停止对该业务系统的系统状态进行判断，而提示用户该业务系统的数据采集工作异常，如提示系统持续繁忙，数据采集任务失败等信息，以完成该业务系统对应的数据采集任务。

基于本发明实施例提供的方法，在业务系统当前未处于空闲状态的情况下，在后续对其系统状态进行重复判断，并在达到预定的判断次数后业务系统仍未处于空闲状态的情况下，提示异常并结束任务。可以及时在业务系统空闲时执行数据采集任务，也可以在业务系统持续繁忙的情况下及时结束任务并提示，以避免持续判断造成影响，增加数据采集系统的负担，有利于进一步提高效率。

进一步的，在图1所示方法的基础上，本发明实施例提供了另一种数据采集方法，其中，步骤S104中所提及的执行该业务系统对应的数据采集任务的过程，包括：

确定该业务系统对应的各个数据库节点，并确定该业务系统对应的每个所述数据库节点所对应的采集顺序；

本发明实施例提供的方法中，当业务系统存在多个数据库节点时，可确定每个数据库节点的采集顺序，具体的，可以随机确定各个数据库节点的采集顺序，也可以根据实际情况预先设置每个数据库节点的采集顺序。

按照各个所述数据库节点对应的采集顺序，依次采集各个所述数据库节点中存储的数据。

本发明实施例提供的方法中，可按照采集顺序，依次启动每个数据库节点对应的数据采集任务，以采集各个数据库节点中存储的数据。

基于本发明实施例提供的方法，对于一个业务系统，可依次对其对应的各个数据库节点进行数据采集，可避免同时对各个数据库节点进行数据采集造成意料外的负担，可进一步保障业务系统的正常运行。

为了更好地说明本发明实施例提供的方法，在上述实施例提供的方法的基础上，本发明实施例提供了又一种数据采集方法，其中，上述实施例中所提及的按照各个所述数据库节点对应的采集顺序，依次采集各个所述数据库节点中存储的数据的过程，包括：

在该业务系统对应的所述各个数据库节点中，确定第一数据库节点，所述第一数据库节点为所述各个数据库节点中的首个数据库节点；

启动所述第一数据库节点对应的数据采集任务，以采集所述第一数据库节点中存储的数据；

确定待采集的节点集合，所述待采集的节点集合中包括所述各个数据库节点中除所述第一数据库节点外的各个数据库节点；

确定所述待采集的节点集合中每个数据库节点对应的目标数据库节点，每个所述数据库节点对应的目标数据库节点为该数据库节点的前一个数据库节点；

对于所述待采集的节点集合中的每个数据库节点，当该数据库节点对应的目标数据库节点所对应的数据采集任务启动后，判断该业务系统当前是否处于空闲状态，若该业务系统当前处于空闲状态，则启动该数据库节点对应的数据采集任务，以采集该数据库节点中存储的数据。

本发明实施例提供的方法中，在执行业务系统的数据采集任务时，对于该业务系统对应的除首个数据库节点外的每个数据库节点，在该数据库节点的前一个数据库节点对应的数据采集任务启动后，才确定是否启动该数据库节点对应的数据采集任务。当首次判断该业务系统当前处于空闲状态后，则启动第一个数据库节点对应的数据采集任务，即访问该数据库节点以获取该节点存储的数据。在第一个数据库节点的数据采集任务启动后，判断业务系统当前是否处于空闲状态，若业务系统当前处于空闲状态，则启动第二个数据库节点对应的数据采集任务，以此类推，依次启动每个数据库节点对应的数据采集任务。而若经判断业务系统当前未处于空闲状态，则暂不启动下一个数据库节点对应的数据采集任务，而是按照预设的时间间隔再次判断业务系统当前是否处于空闲状态，在业务系统处于空闲状态时启动下一个数据采集任务，若判断次数超过阈值，亦可提示异常信息。

具体的，本发明实施例提供的方法中所提及的判断业务系统当前是否处于空闲状态的过程，可采用与图1所示方法中步骤S103提及的判断过程相同的方法实现，具体可参见上述实施例中所作说明，在此不再赘述。

在具体的实现过程中，可以基于分布式系统基础框架hadoop，实现批量采集任务的执行。可设置数据采集系统的并发度参数，在各个业务系统的各个数据库节点的数据采集任务的执行过程中，在当前已开始执行且未完成的任务数并未超过系统并发数时，可按照各个业务系统的执行顺序，每个业务系统中数据库节点的采集顺序，持续依次尝试启动各个数据库采集任务，在优先度高的任务已提交，且未开始执行的情况下，优先度比它低的任务，无法提交。

基于本发明实施例提供的方法，在启动每个具体的数据库节点的数据采集任务前，均对业务系统的系统状态进行判断，可在实现数据采集系统最大并发量的基础上，保障业务系统的性能不受影响。

与图1所示的数据采集方法相对应的，本发明实施例还提供了一种数据采集装置，用于对图1中所示方法的具体实现，其结构示意图如图4所示，包括：

确定单元301，用于所述当接收到对各个业务系统进行数据采集的指令时，设定至少一个采集批次，在所述各个业务系统中，确定每个所述采集批次对应的各个业务系统；

采集单元302，用于依次对每个所述采集批次对应的各个业务系统进行数据采集；

其中，所述采集单元302，包括：

采集子单元303，用于对于当前采集批次对应的每个业务系统，判断该业务系统当前是否处于空闲状态，若该业务系统当前处于空闲状态，则执行该业务系统对应的数据采集任务；若所述当前采集批次对应的每个业务系统对应的数据采集任务均已完成，则结束所述当前采集批次对应的各个业务系统的数据采集过程。

基于本发明实施例提供的装置，当接收到对各个业务系统进行数据采集的指令时，可对各个业务系统进行分批；依次对每个采集批次对应的各个业务系统进行数据采集；在每个采集批次对应的各个业务系统的数据采集过程中，对于当前采集批次对应的每个业务系统，判断该业务系统当前是否处于空闲状态，若该业务系统当前处于空闲状态，则执行该业务系统对应的数据采集任务；若当前采集批次对应的每个业务系统对应的数据采集任务均已完成，则结束当前采集批次对应的各个业务系统的数据采集过程。应用本发明实施例提供的装置，对于当前需采集数据的业务系统，可判断其当前是否处于空闲状态，在业务系统当前处于空闲状态才访问该业务系统进行数据采集，可避免在业务系统的交易高峰期进行访问，进一步加重业务系统的负担，有利于保障业务系统的正常业务交易处理。其次，可以分批对业务系统的数据进行采集，可在将数据采集系统的资源利用最大化的同时，平衡系统负载。

在图4所示装置的基础上，本发明实施例提供的装置中，所述确定单元301，包括：

第一确定子单元，用于确定所述各个业务系统中每个业务系统对应的优先级；

第二确定子单元，用于确定每个所述采集批次对应的批次顺序；

第三确定子单元，用于基于每个所述业务系统对应的优先级，在各个所述采集批次对应的批次顺序中，确定每个所述业务系统对应的批次顺序；

第四确定子单元，用于将每个所述业务系统分配至其对应的批次顺序所对应的采集批次，并将分配至每个所述采集批次的每个业务系统确定为该采集批次对应的业务系统。

在图4所示装置的基础上，本发明实施例提供的装置中，所述采集子单元303，包括：

第五确定子单元，用于确定当前该业务系统对应的资源使用参数；

第一判断子单元，用于判断所述资源使用参数是否小于预设使用阈值；若所述资源使用参数小于所述预设使用阈值，则确定该业务系统当前处于空闲状态。

在上述实施例提供的装置的基础上，本发明实施例提供的装置中，所述第五确定子单元，包括：

第六确定子单元，用于确定该业务系统对应的每个数据库节点；

第七确定子单元，用于确定资源使用率集合，所述资源使用率集合中包括当前每个所述数据库节点对应的各个资源使用率；在所述资源使用率集合中确定目标资源使用率，所述目标资源使用率为所述资源使用率集合中数值最大的资源使用率；将所述目标资源使用率确定为当前该业务系统对应的资源使用参数。

为了更好地说明本发明实施例提供的装置，本发明实施例提供了又一种数据采集装置，其结构示意图如图5所示，在图1所示装置的基础上，本发明实施例提供的装置中，还包括：

第二判断子单元304，用于若该业务系统当前未处于空闲状态，则按预设的判断周期对该业务系统的系统状态进行判断；在进入当前的判断周期时，判断该业务系统当前是否处于空闲状态，若该业务系统当前未处于空闲状态，则确定当前的判断次数，并判断所述当前的判断次数是否小于预设次数；

第八确定子单元305，用于若所述当前的判断次数小于所述预设次数，则进入下一个判断周期，若所述当前的判断次数不小于所述预设次数，则结束对该业务系统的系统状态进行判断，并提示该业务系统对应的异常信息，以完成该业务系统对应的数据采集任务。

在图4所示装置的基础上，本发明实施例提供的装置中，所述采集子单元303，包括：

第九确定子单元，用于确定该业务系统对应的各个数据库节点，并确定该业务系统对应的每个所述数据库节点所对应的采集顺序；

依次采集子单元，用于按照各个所述数据库节点对应的采集顺序，依次采集各个所述数据库节点中存储的数据。

在上述实施例提供的装置的基础上，本发明实施例提供的装置中，所述依次采集子单元，包括：

第十确定子单元，用于在该业务系统对应的所述各个数据库节点中，确定第一数据库节点，所述第一数据库节点为所述各个数据库节点中的首个数据库节点；

启动子单元，用于启动所述第一数据库节点对应的数据采集任务，以采集所述第一数据库节点中存储的数据；

第十一确定子单元，用于确定待采集的节点集合，所述待采集的节点集合中包括所述各个数据库节点中除所述第一数据库节点外的各个数据库节点；确定所述待采集的节点集合中每个数据库节点对应的目标数据库节点，每个所述数据库节点对应的目标数据库节点为该数据库节点的前一个数据库节点；

第三判断子单元，用于对于所述待采集的节点集合中的每个数据库节点，当该数据库节点对应的目标数据库节点所对应的数据采集任务启动后，判断该业务系统当前是否处于空闲状态，若该业务系统当前处于空闲状态，则启动该数据库节点对应的数据采集任务，以采集该数据库节点中存储的数据。

本发明实施例还提供了一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行如上述的数据采集方法。

本发明实施例还提供了一种电子设备，其结构示意图如图6所示，具体包括存储器401，以及一个或者一个以上的指令402，其中一个或者一个以上指令402存储于存储器401中，且经配置以由一个或者一个以上处理器403执行所述一个或者一个以上指令402进行以下操作：

当接收到对各个业务系统进行数据采集的指令时，设定至少一个采集批次，在所述各个业务系统中，确定每个所述采集批次对应的各个业务系统；

依次对每个所述采集批次对应的各个业务系统进行数据采集；

其中，每个所述采集批次对应的各个业务系统的数据采集过程，包括：

对于当前采集批次对应的每个业务系统，判断该业务系统当前是否处于空闲状态，若该业务系统当前处于空闲状态，则执行该业务系统对应的数据采集任务；

若所述当前采集批次对应的每个业务系统对应的数据采集任务均已完成，则结束所述当前采集批次对应的各个业务系统的数据采集过程。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据采集方法，其特征在于，包括：

当接收到对各个业务系统进行数据采集的指令时，设定至少一个采集批次，在所述各个业务系统中，确定每个所述采集批次对应的各个业务系统；

依次对每个所述采集批次对应的各个业务系统进行数据采集；

其中，每个所述采集批次对应的各个业务系统的数据采集过程，包括：

对于当前采集批次对应的每个业务系统，判断该业务系统当前是否处于空闲状态，若该业务系统当前处于空闲状态，则执行该业务系统对应的数据采集任务；

若所述当前采集批次对应的每个业务系统对应的数据采集任务均已完成，则结束所述当前采集批次对应的各个业务系统的数据采集过程。

2.根据权利要求1所述的方法，其特征在于，所述在所述各个业务系统中，确定每个所述采集批次对应的各个业务系统，包括：

确定所述各个业务系统中每个业务系统对应的优先级；

确定每个所述采集批次对应的批次顺序；

基于每个所述业务系统对应的优先级，在各个所述采集批次对应的批次顺序中，确定每个所述业务系统对应的批次顺序；

将每个所述业务系统分配至其对应的批次顺序所对应的采集批次，并将分配至每个所述采集批次的每个业务系统确定为该采集批次对应的业务系统。

3.根据权利要求1所述的方法，其特征在于，所述判断该业务系统当前是否处于空闲状态，包括：

确定当前该业务系统对应的资源使用参数；

判断所述资源使用参数是否小于预设使用阈值；

若所述资源使用参数小于所述预设使用阈值，则确定该业务系统当前处于空闲状态。

4.根据权利要求3所述的方法，其特征在于，所述确定当前该业务系统对应的资源使用参数，包括：

确定该业务系统对应的每个数据库节点；

确定资源使用率集合，所述资源使用率集合中包括当前每个所述数据库节点对应的各个资源使用率；

在所述资源使用率集合中确定目标资源使用率，所述目标资源使用率为所述资源使用率集合中数值最大的资源使用率；

将所述目标资源使用率确定为当前该业务系统对应的资源使用参数。

5.根据权利要求1所述的方法，其特征在于，还包括：

若该业务系统当前未处于空闲状态，则按预设的判断周期对该业务系统的系统状态进行判断；

在进入当前的判断周期时，判断该业务系统当前是否处于空闲状态，若该业务系统当前未处于空闲状态，则确定当前的判断次数，并判断所述当前的判断次数是否小于预设次数；

若所述当前的判断次数小于所述预设次数，则进入下一个判断周期，若所述当前的判断次数不小于所述预设次数，则结束对该业务系统的系统状态进行判断，并提示该业务系统对应的异常信息，以完成该业务系统对应的数据采集任务。

6.根据权利要求1所述的方法，其特征在于，所述执行该业务系统对应的数据采集任务，包括：

确定该业务系统对应的各个数据库节点，并确定该业务系统对应的每个所述数据库节点所对应的采集顺序；

按照各个所述数据库节点对应的采集顺序，依次采集各个所述数据库节点中存储的数据。

7.根据权利要求6所述的方法，其特征在于，所述按照各个所述数据库节点对应的采集顺序，依次采集各个所述数据库节点中存储的数据，包括：

在该业务系统对应的所述各个数据库节点中，确定第一数据库节点，所述第一数据库节点为所述各个数据库节点中的首个数据库节点；

启动所述第一数据库节点对应的数据采集任务，以采集所述第一数据库节点中存储的数据；

确定待采集的节点集合，所述待采集的节点集合中包括所述各个数据库节点中除所述第一数据库节点外的各个数据库节点；

确定所述待采集的节点集合中每个数据库节点对应的目标数据库节点，每个所述数据库节点对应的目标数据库节点为该数据库节点的前一个数据库节点；

对于所述待采集的节点集合中的每个数据库节点，当该数据库节点对应的目标数据库节点所对应的数据采集任务启动后，判断该业务系统当前是否处于空闲状态，若该业务系统当前处于空闲状态，则启动该数据库节点对应的数据采集任务，以采集该数据库节点中存储的数据。

8.一种数据采集装置，其特征在于，包括：

确定单元，用于所述当接收到对各个业务系统进行数据采集的指令时，设定至少一个采集批次，在所述各个业务系统中，确定每个所述采集批次对应的各个业务系统；

采集单元，用于依次对每个所述采集批次对应的各个业务系统进行数据采集；

其中，所述采集单元，包括：

采集子单元，用于对于当前采集批次对应的每个业务系统，判断该业务系统当前是否处于空闲状态，若该业务系统当前处于空闲状态，则执行该业务系统对应的数据采集任务；若所述当前采集批次对应的每个业务系统对应的数据采集任务均已完成，则结束所述当前采集批次对应的各个业务系统的数据采集过程。

9.一种存储介质，其特征在于，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行如权利要求1～7任意一项所述的数据采集方法。

10.一种电子设备，其特征在于，包括存储器，以及一个或者一个以上的指令，其中一个或者一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行如权利要求1～7任意一项所述的数据采集方法。

Images