CN111274316A - 多级数据流转任务的执行方法及装置、电子设备、存储介质 - Google Patents

Abstract

本申请提供一种多级数据流转任务的执行方法及装置、电子设备、存储介质，该方法包括：根据预设的配置信息生成任务节点树；其中，所述任务节点树包括多个数据集节点，所述任务节点树中每一父节点与其子节点之间存在数据流转任务；依据所述任务节点树，逐级执行每一父节点与其相对应的子节点之间的所述数据流转任务。本申请上述实施例提供的技术方案，依据该任务节点树逐级处理数据流转任务，避免了多余的等待时间，从而有效地提高了多级数据流转任务地处理效率。

Description

多级数据流转任务的执行方法及装置、电子设备、存储介质

技术领域

本申请涉及计算机技术领域，特别涉及一种多级数据流转任务的执行方法及装置、电子设备、计算机可读存储介质。

背景技术

在涉及数据的业务中，存在数据集之间相互同步数据的需求。将源数据集中的待同步数据存储至目标数据集的过程称为数据流转。在实际业务环境中，一个数据流转过程中的目标数据集也可能是其它数据集的源数据集，在这种情况下，各级源数据集和目标数据集之间的多次数据流转构成了一次多级数据流转。

一般，在处理多级数据流转时，会配置多个数据流转任务。通过周期性检查上游的数据流转任务，以在上游的数据流转任务完成后继续处理下游的数据流转任务。该措施不可避免多余的等待时间，若多级数据流转任务的层级较多，则会叠加产生非常多的等待时间，这会降低多级数据流转任务的处理效率。

发明内容

本申请实施例的目的在于提供一种多级数据流转任务的执行方法及装置，电子设备、计算机可读存储介质，用以提高多级数据流转任务的处理效率。

本申请实施例提供了一种多级数据流转任务的执行方法，所述方法包括：

根据预设的配置信息生成任务节点树；其中，所述任务节点树包括多个数据集节点，所述任务节点树中每一父节点与其对应的子节点之间存在数据流转任务；

依据所述任务节点树，逐级执行每一父节点与其相对应的子节点之间的所述数据流转任务。

在一实施例中，所述依据所述任务节点树，逐级执行每一父节点与其相对应的子节点之间的数据流转任务，包括：

将所述任务节点树中的根节点加入预设的源数据集列表；其中，加入所述源数据集列表的数据集节点为源数据集节点；

查找所述源数据集列表中的源数据集节点的待同步数据，并缓存所述待同步数据；

判断所述源数据集列表是否为空，如果所述源数据集列表不为空，在所述任务节点树中确定所述源数据集列表中源数据集节点的子节点，并将已缓存的所述待同步数据存储至所述子节点；

删除所述源数据集列表中的源数据集节点，并判断所述子节点是否为所述任务节点树的叶子节点；

若任一子节点不是叶子节点，将所述子节点加入所述源数据集列表，并返回判断所述源数据集列表是否为空的步骤，直至所述源数据集列表为空。

在一实施例中，所述方法还包括：

若所有子节点均为叶子节点，结束任务。

在一实施例中，所述方法还包括：

监控所述任务节点树的根节点，若所述根节点上产生增量的待同步数据，依据所述任务节点树，逐级执行每一父节点与其相对应的子节点之间的数据流转任务。

在一实施例中，在执行每一父节点与其相对应的子节点之间的数据流转任务时，所述方法还包括：

基于子节点所需数据的要求，对所述待同步数据进行过滤和标准化处理。

本申请实施例还提供了一种多级数据流转任务的执行装置，所述装置包括：

生成模块，用于根据预设的配置信息生成任务节点树；其中，所述任务节点树包括多个数据集节点，所述任务节点树中每一父节点与其对应的子节点之间存在数据流转任务；

执行模块，用于依据所述任务节点树，逐级执行每一父节点与其相对应的子节点之间的所述数据流转任务。

在一实施例中，所述执行模块，进一步用于：

将所述任务节点树中的根节点加入预设的源数据集列表；其中，加入所述源数据集列表的数据集节点为源数据集节点；

查找所述源数据集列表中的源数据集节点的待同步数据，并缓存所述待同步数据；

判断所述源数据集列表是否为空，如果所述源数据集列表不为空，在所述任务节点树中确定所述源数据集列表中源数据集节点的子节点，并将已缓存的所述待同步数据存储至所述子节点；

删除所述源数据集列表中的源数据集节点，并判断所述子节点是否为所述任务节点树的叶子节点；

若任一子节点不是叶子节点，将所述子节点加入所述源数据集列表，并返回判断所述源数据集列表是否为空的步骤，直至所述源数据集列表为空。

在一实施例中，所述执行模块，还用于：

监控所述任务节点树的根节点，若所述根节点上产生增量的待同步数据，依据所述任务节点树，逐级执行每一父节点与其相对应的子节点之间的数据流转任务。

进一步的，本申请实施例还提供了一种电子设备，所述电子设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述多级数据流转任务的执行方法。

进一步的，本申请实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成上述多级数据流转任务的执行方法。

本申请上述实施例提供的技术方案，基于配置信息生成可记录多级数据流转任务中各数据流转任务的依赖关系的任务节点树，依据该任务节点树逐级处理数据流转任务，避免了多余的等待时间，从而有效地提高了多级数据流转任务地处理效率。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍。

图1为本申请一实施例的电子设备的结构示意图；

图2为本申请实施例示出的一种多级数据流转的应用场景示意图；

图3是本申请实施例示出的一种多级数据流转任务的执行方法的流程示意图；

图4是本申请实施例示出的一种任务节点树的示意图；

图5是本申请实施例示出的另一种多级数据流转任务的执行方法的流程示意图；

图6是本申请实施例示出的一种多级数据流转任务的执行装置的框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

如图1所示，本实施例提供一种电子设备1，包括：至少一个处理器11和存储器12，图1中以一个处理器为例。处理器11和存储器12通过总线10连接，存储器12存储有可被处理器11执行的指令，指令被处理器11执行，以使电子设备1可执行下述的实施例中方法的全部或部分流程。于一施例中，电子设备可以是服务器。

存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory，简称EPROM)，可编程只读存储器(Programmable Red-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。

图2为本实施例提供的多级数据流转的应用场景示意图。服务端20可以是一个或多个服务器。服务端20上可以包括多个数据集21，数据集为数据集合的存储位置，可以包括关系型数据库、非关系型数据库、消息中间件、缓存、文本、消息队列等。其中，服务端20为实现大规模数据的读写和计算，可以搭载计算引擎，该计算引擎可以是Spark、Hadoop、Flink等任意一种。本实施例，以Spark作为服务端的计算引擎为例进行说明。

数据集之间的数据同步过程即为数据流转，于一实施例，在大数据业务日志清洗过程中，服务端一般会通过日志同步工具将日志数据同步到Kafka集群或HDFS(HadoopDistributed File System，分布式文件系统)，然后使用大数据处理框架对日志数据进行清洗，接着将清洗后的数据存储至Hive(数据仓库工具)或HBase(Hadoop Database，Hadoop数据库)中。将日志数据从Kafka集群或HDFS存储到Hive或HBase的过程即为数据流转，此时，Kafka集群和HDFS为源数据集，Hive和HBase为目标数据集。

服务端上的业务可以读取Hive或HBase中的日志数据，并将读取到的日志数据转化为对应于业务的业务表。将日志数据从Hive或HBase读取到业务的过程同样为数据流转，此时，Hive和HBase为源数据集，获取日志数据的业务为目标数据集。

本实施例中，服务端通过生成任务节点树，并依据任务节点树逐级执行数据流转任务，无需依赖周期性检查触发下游数据流转任务，避免了额外的等待时间。

如图2所示，于一实施例中，总共存在4个数据流转任务。任务1：数据集A的数据需同步至数据集B。任务2：数据集A的数据需同步至数据集C。任务3：数据集B的数据需同步至数据集D。任务4：数据集C的数据需同步至数据集E。其中，任务1和任务3之间存在依赖关系，任务2和任务4之间存在依赖关系。服务端20通过任务节点树记录上述依赖关系，从而可以依据任务节点树自主地逐级处理数据流转任务，避免了额外的等待时间。

参见图3，为本实施例示出的一种多级数据流转任务的执行方法的流程示意图。该方法可以包括以下步骤：

步骤301：根据预设的配置信息生成任务节点树；其中，所述任务节点树包括多个数据集节点，所述任务节点树中每一父节点与其对应的子节点之间存在数据流转任务。

在本步骤中，配置信息可由管理员预先配置，配置信息可以包括服务端需执行的一系列存在依赖关系的数据流转任务、每一任务的源数据集和目标数据集、以及每一数据集所需数据的数据格式等信息。

服务端可以根据配置信息确定出至少两个数据流转任务以及数据流转任务之间的依赖关系，并由此生成任务节点树，用以在后续执行数据流转任务。参见图4，为本申请实施例示出的一种任务节点树的示意图，如图4所示，该任务节点树包括6个数据集节点。其中，节点A为根节点，且节点B和节点C为节点A的子节点；节点D为节点B的子节点，节点F为节点D的子节点；节点E为节点C的子节点。

在任务节点树中节点的父子关系表示数据流转任务中的数据同步方向，父节点表征的数据集为数据流转过程中的源数据集，子节点表征的数据集则为目标数据集。

步骤302：依据所述任务节点树，逐级执行每一父节点与其相对应的子节点之间的数据流转任务。

在本步骤中，服务端生成任务节点树后，可以基于任务节点树中的层级关系，逐级将每一父节点上的待同步数据存储至与其相对应的子节点。

以图4示出的任务节点树为例，服务端可以将节点A上的待同步数据分别存储至节点B和节点C。接着，服务端将节点B上的待同步数据存储至节点D，将节点C上的待同步数据存储至节点E。进一步地，服务端将节点D上的待同步数据存储至节点F。

于一实施例中，由于目标数据集所需的数据与源数据集上的数据可能存在差异。因此，服务端在将每一父节点上的待同步数据存储至其相对应的子节点之前，可以基于子节点所需数据的要求，对待同步数据进行过滤和标准化处理，从而获得符合子节点数据格式的数据。其中，各子节点所需数据的要求可从配置信息中获取。

比如：源数据集上的待同步数据包括多条携带时间戳的数据，且时间戳的数据格式与目标数据集的数据格式不同。目标数据集仅需要时间戳在某个时段的数据。因此，在将待同步数据存储到目标数据集之前，服务端可从待同步数据中筛选出时间戳在规定时段的数据，并将时间戳的数据格式转化为目标数据集的数据格式，进而将处理过后的数据存储至目标数据集。

服务端将处理过的待同步数据存储至子节点后，即完成一次数据流转任务。

参见图5，为本实施例示出的多级数据流转任务的执行方法的流程示意图。在本实施例中，服务端已预先基于配置信息生成任务节点树，为了依据该任务节点树逐级处理数据流转任务，服务端执行如下步骤：

步骤501：服务端将任务节点树的根节点加入到源数据集列表。

在本步骤中，根节点即表征多级数据流转任务中，首个数据流转任务的源数据集，后续所有数据流转任务的待同步数据来自该源数据集。源数据集列表中的数据集节点为当前执行的数据流转任务的源数据集节点。

步骤502：查找并缓存待同步数据。

在本步骤中，由于此时源数据节点为根节点，服务端是从首个源数据集上查找并缓存待同步数据。服务端缓存待同步数据后，后续可直接从内存中直接获取待同步数据，避免了重复的查找步骤。

步骤503：判断源数据集列表是否为空。

在本步骤中，服务端可判断源数据集列表是否为空，当源数据集列表不为空时，执行步骤504。

步骤504：存储待同步数据至源数据集节点的子节点。

在本步骤中，服务端在任务节点树中确定源数据集列表中源数据集节点的子节点，然后将待同步数据存储至子节点。服务端确定出源数据集的目标数据集后，将已缓存的待同步数据存储至目标数据集。

步骤505：删除源数据集列表中的源数据集节点。

在本步骤中，服务端在将待同步数据存储至目标数据集后，可以删除源数据集列表中的目标数据集对应的源数据集节点。

步骤506：判断子节点是否为任务节点树的叶子节点。

在本步骤中，如果子节点为叶子节点，则说明不存在以该子节点为源数据集的数据流转任务，针对该子节点的处理已经完成。在这种情况下，服务端可以继续遍历源数据集列表，检查是否有尚未完成的数据流转任务。如果当前以所有子节点为目标数据集的数据流转任务处理完成后，服务端确定所有子节点均为叶子节点，则说明整个多级数据流转任务已经处理完。

步骤507：加入子节点至源数据集列表。

在本步骤中，如果子节点不是叶子节点，则说明存在以该子节点为源数据集的数据流转任务。在这种情况下，服务端可以将该子节点加入源数据集列表。进一步地，服务端可以返回步骤503，重新判断源数据集列表是否为空，由于此前已将不是叶子节点的子节点加入至源数据集列表，因此可以继续执行步骤504。

服务端重复执行步骤503至步骤507，直到源数据集列表为空。此时，多级数据流转任务执行完毕。

于一实施例中，在将每一父节点上的待同步数据存储至该父节点的子节点之前，服务端需基于该子节点所需数据的要求，对待同步数据进行过滤和标准化处理。

由于本实施例通过缓存待同步数据取消了后续的重复查找步骤，对于增量的待同步数据，服务端同样是查找并缓存以后逐级同步至各目标数据集，因此，服务端在执行多级数据流转任务过程中可以仅对增量的待同步数据进行处理。

于一实施例中，服务端可监控上述任务节点树的根节点。比如，服务端可周期性检查根节点表征的数据集下的文件目录是否发生变化，从而在发生变化时确定产生增量的待处理数据。

于一实施例中，如果根节点上产生增量的待同步数据，服务端可以依据任务节点树，逐级将每一父节点上增量的待同步数据存储至该父节点的子节点。服务端针对增量的待同步数据执行多级数据流转任务时，在将增量的待同步数据存储至子节点之前，可以对该待同步数据进行过滤和标准化处理。

综上所述，本申请的上述实施例提供的技术方案，服务端通过任务节点树记录多级数据流转任务中各数据流转任务的依赖关系，从而在依据任务节点树逐级执行数据流转任务时避免了多余的等待时间；

另外，服务端通过对首次查找到的待同步数据进行缓存，规避了后续的重复查找过程，减少了计算量；在缓存待同步数据地机制上对任务节点树地根节点进行监控，可以直观地确定各级数据流转任务的增量的待同步数据。

图6是本发明一实施例的一种多级数据流转的控制装置的框图。该装置可以包括：生成模块610和执行模块620。

生成模块610，用于根据预设的配置信息生成任务节点树；其中，所述任务节点树包括多个数据集节点，所述任务节点树中每一父节点与其对应的子节点之间存在数据流转任务。

执行模块620，用于依据所述任务节点树，逐级执行每一父节点与其相对应父节点的子节点之间的所述数据流转任务。

在示出的一种实施例中，上述执行模块，进一步用于：

将所述任务节点树中的根节点加入预设的源数据集列表；其中，加入所述源数据集列表的数据集节点为源数据集节点；

查找所述源数据集列表中的源数据集节点的待同步数据，并缓存所述待同步数据；

判断所述源数据集列表是否为空，如果所述源数据集列表不为空，在所述任务节点树中确定所述源数据集列表中源数据集节点的子节点，并将已缓存的所述待同步数据存储至所述子节点；

删除所述源数据集列表中的源数据集节点，并判断所述子节点是否为所述任务节点树的叶子节点；

若任一子节点不是叶子节点，将所述子节点加入所述源数据集列表，并返回判断所述源数据集列表是否为空的步骤，直至所述源数据集列表为空。

在示出的一种实施例中，上述执行模块，进一步用于：

若所有子节点均为叶子节点，结束任务。

在示出的一种实施例中，上述执行模块，进一步用于：

监控所述任务节点树的根节点，若所述根节点上产生增量的待同步数据，依据所述任务节点树，逐级将每一父节点上增量的待同步数据存储至其相对应的子节点。

在示出的一种实施例中，上述执行模块，进一步用于：

基于子节点所需数据的要求，对所述待同步数据进行过滤和标准化处理。

上述装置中各个模块的功能和作用的实现过程具体详见上述多级数据流转的控制方法中对应步骤的实现过程，在此不再赘述。

在本申请所提供的几个实施例中，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种多级数据流转任务的执行方法，其特征在于，包括：

根据预设的配置信息生成任务节点树；其中，所述任务节点树包括多个数据集节点，所述任务节点树中每一父节点与其对应的子节点之间存在数据流转任务；

依据所述任务节点树，逐级执行每一父节点与其相对应的子节点之间的所述数据流转任务。

2.根据权利要求1所述的方法，其特征在于，所述依据所述任务节点树，逐级执行每一父节点与其相对应的子节点之间的数据流转任务，包括：

将所述任务节点树中的根节点加入预设的源数据集列表；其中，加入所述源数据集列表的数据集节点为源数据集节点；

查找所述源数据集列表中的源数据集节点的待同步数据，并缓存所述待同步数据；

判断所述源数据集列表是否为空，如果所述源数据集列表不为空，在所述任务节点树中确定所述源数据集列表中源数据集节点的子节点，并将已缓存的所述待同步数据存储至所述子节点；

删除所述源数据集列表中的源数据集节点，并判断所述子节点是否为所述任务节点树的叶子节点；

若任一子节点不是叶子节点，将所述子节点加入所述源数据集列表，并返回判断所述源数据集列表是否为空的步骤，直至所述源数据集列表为空。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

若所有子节点均为叶子节点，结束任务。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

监控所述任务节点树的根节点，若所述根节点上产生增量的待同步数据，依据所述任务节点树，逐级执行每一父节点与其相对应的子节点之间的数据流转任务。

5.根据权利要求2或4所述的方法，其特征在于，在执行每一父节点与其相对应的子节点之间的数据流转任务时，所述方法还包括：

基于子节点所需数据的要求，对所述待同步数据进行过滤和标准化处理。

6.一种多级数据流转任务的执行装置，其特征在于，包括：

生成模块，用于根据预设的配置信息生成任务节点树；其中，所述任务节点树包括多个数据集节点，所述任务节点树中每一父节点与其对应的子节点之间存在数据流转任务；

执行模块，用于依据所述任务节点树，逐级执行每一父节点与其相对应的子节点之间的所述数据流转任务。

7.根据权利要求6所述的装置，其特征在于，所述执行模块，进一步用于：

将所述任务节点树中的根节点加入预设的源数据集列表；其中，加入所述源数据集列表的数据集节点为源数据集节点；

查找所述源数据集列表中的源数据集节点的待同步数据，并缓存所述待同步数据；

判断所述源数据集列表是否为空，如果所述源数据集列表不为空，在所述任务节点树中确定所述源数据集列表中源数据集节点的子节点，并将已缓存的所述待同步数据存储至所述子节点；

删除所述源数据集列表中的源数据集节点，并判断所述子节点是否为所述任务节点树的叶子节点；

若任一子节点不是叶子节点，将所述子节点加入所述源数据集列表，并返回判断所述源数据集列表是否为空的步骤，直至所述源数据集列表为空。

8.根据权利要求6所述的装置，其特征在于，所述执行模块，还用于：

监控所述任务节点树的根节点，若所述根节点上产生增量的待同步数据，依据所述任务节点树，逐级执行每一父节点与其相对应的子节点之间的数据流转任务。

9.一种电子设备，其特征在于，所述电子设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行权利要求1-5任意一项所述的多级数据流转任务的执行方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成权利要求1-5任意一项所述的多级数据流转任务的执行方法。

Images