CN111414264A - 数据处理方法、装置、电子设备及存储介质 - Google Patents
数据处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111414264A CN111414264A CN202010202488.1A CN202010202488A CN111414264A CN 111414264 A CN111414264 A CN 111414264A CN 202010202488 A CN202010202488 A CN 202010202488A CN 111414264 A CN111414264 A CN 111414264A
- Authority
- CN
- China
- Prior art keywords
- task
- data
- processed
- data processing
- processing platform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Stored Programmes (AREA)
Abstract
本申请实施例提供了数据处理方法、装置、电子设备及存储介质，涉及计算机技术领域，通过获取各数据任务和各所述数据任务的依赖关系，根据各所述数据任务的依赖关系，基于十字链表数据结构将所述各数据任务进行存储，得到数据任务十字链表，建立各所述数据任务对应的数据处理平台的接口调用进程，根据所述数据任务十字链表，利用各所述接口调用进程调用各所述数据处理平台，然后通过各所述数据处理平台处理各所述数据任务，以使各数据任务按照存储在十字链表的中的存储关系顺序处理，以解决现有技术中无法实现自动化数据处理的问题。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及数据处理方法、装置、电子设备及存储介质。
背景技术
数据计算作为数据开发的核心部分，对于数据开发起着重要的作用，数据的准确性和快速性又依赖于数据计算系统的鲁棒性。数据开发过程中需要不同阶段的任务，不同的数据任务分布在不同的平台，经常会出现因为上游数据问题或程序漏洞等带来的下游数据重跑和恢复，但各个数据任务的平台是隔离的，每次恢复数据需要人工整理各任务的依赖关系，等到上游任务计算完才跑其下游任务，耗费了大量人力，无法实现自动化数据处理，非常不便。
发明内容
本申请实施例的目的在于提供一种数据处理方法、装置、电子设备及存储介质，以解决现有技术中无法实现自动化数据处理的问题。
具体技术方案如下：
第一方面，本申请实施例提供了数据处理方法，所述方法包括：
获取各数据任务和各所述数据任务的依赖关系，其中，各所述数据任务分别在相应的数据处理平台进行处理；
根据各所述数据任务的依赖关系，基于十字链表数据结构将所述各数据任务进行存储，得到数据任务十字链表；
建立各所述数据任务对应的数据处理平台的接口调用进程；
根据所述数据任务十字链表，利用各所述接口调用进程调用各所述数据处理平台，以处理各所述数据任务。
可选的，所述根据所述数据任务十字链表，利用各所述接口调用进程调用各所述数据处理平台，以处理各所述数据任务，包括：
根据所述数据任务十字链表中记录的各所述数据任务的依赖关系，从所述数据任务十字链表中获取当前待处理任务；
获取所述当前待处理任务相应的数据处理平台的接口调用进程，根据所述接口调用进程调用所述处理当前待处理任务相应的数据处理平台，以使所述当前待处理任务相应的数据处理平台处理所述当前待处理任务。
可选的，在所述当前待处理任务在相应的数据处理平台处理后，所述方法还包括：
生成完成文件；
根据所述完成文件，从所述数据任务十字链表中获取下一待处理任务，所述下一待处理任务为所述当前待处理任务的下游任务；
获取所述下一待处理任务相应的数据处理平台的接口调用进程，根据所述接口调用进程调用所述处理下一待处理任务相应的数据处理平台，以使所述下一待处理任务相应的数据处理平台处理所述下一待处理任务。
可选的，所述根据所述各数据任务的依赖关系，基于十字链表数据结构将所述各数据任务进行存储，得到数据任务十字链表，包括：
根据各所述数据任务的依赖关系将各所述数据任务作为节点顺序存储；
根据所述各数据任务的依赖关系，将各所述数据任务使用弧连接，使得各所述数据任务进行链式存储。
第二方面，本申请实施例提供了一种数据处理装置，所述装置包括：
第一获取模块，用于获取各数据任务和各所述数据任务的依赖关系，其中，各所述数据任务分别在相应的数据处理平台进行处理；
存储模块，用于根据各所述数据任务的依赖关系，基于十字链表数据结构将所述各数据任务进行存储，得到数据任务十字链表；
建立模块，用于建立各所述数据任务对应的数据处理平台的接口调用进程；
处理模块，用于根据所述数据任务十字链表，利用各所述接口调用进程调用各所述数据处理平台，以处理各所述数据任务。
可选的，所述处理模块具体用于：
根据所述数据任务十字链表中记录的各所述数据任务的依赖关系，从所述数据任务十字链表中获取当前待处理任务；
获取所述当前待处理任务相应的数据处理平台的接口调用进程，根据所述接口调用进程调用所述处理当前待处理任务相应的数据处理平台，以使所述当前待处理任务相应的数据处理平台处理所述当前待处理任务。
可选的，所述装置还包括：
生成模块，用于生成完成文件；
第二获取模块，用于根据所述完成文件，从所述数据任务十字链表中获取下一待处理任务，所述下一待处理任务为所述当前待处理任务的下游任务；
第三获取模块，用于获取所述下一待处理任务相应的数据处理平台的接口调用进程，根据所述接口调用进程调用所述处理下一待处理任务相应的数据处理平台，以使所述下一待处理任务相应的数据处理平台处理所述下一待处理任务。
可选的，所述存储模块具体用于：
根据各所述数据任务的依赖关系将各所述数据任务作为节点顺序存储；
根据所述各数据任务的依赖关系，将各所述数据任务使用弧连接，使得各所述数据任务进行链式存储。
第三方面，本申请实施例提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中：
所述处理器，通信接口，存储器通过通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行存储器上所存放的程序时，实现上述第一方面任一所述的数据处理方法。
第四方面，本申请实施例提供了一种存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面任一所述的数据处理方法。
第五方面，本申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面任一所述的数据处理方法。
本申请实施例提供的数据处理方法、装置、电子设备、存储介质及包含指令的计算机程序产品，通过获取各数据任务和各所述数据任务的依赖关系，根据各所述数据任务的依赖关系，基于十字链表数据结构将所述各数据任务进行存储，得到数据任务十字链表，建立各所述数据任务对应的数据处理平台的接口调用进程，根据所述数据任务十字链表，利用各所述接口调用进程调用各所述数据处理平台，然后通过各所述数据处理平台处理各所述数据任务，以使各数据任务按照存储在十字链表的中的存储关系顺序处理，以解决现有技术中无法实现自动化数据处理的问题。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a为本申请实施例的数据处理方法的一种示意图；
图1b为本申请实施例的数据处理方法的数据任务依赖关系示意图；
图1c为本申请实施例的数据处理方法的数据任务十字链表示意图；
图2为本申请实施例的数据处理装置的一种示意图；
图3为本申请实施例的电子设备的一种示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了解决现有技术中无法实现自动化数据处理的问题，本申请公开了一种数据处理方法，包括如下步骤：
获取各数据任务和各上述数据任务的依赖关系，其中，各上述数据任务分别在相应的数据处理平台进行处理；
根据各上述数据任务的依赖关系，基于十字链表数据结构将上述各数据任务进行存储，得到数据任务十字链表；
建立各上述数据任务对应的数据处理平台的接口调用进程；
根据上述数据任务十字链表，利用各上述接口调用进程调用各上述数据处理平台，以处理各上述数据任务。
通过获取各数据任务和各上述数据任务的依赖关系，根据各上述数据任务的依赖关系，基于十字链表数据结构将上述各数据任务进行存储，得到数据任务十字链表，建立各上述数据任务对应的数据处理平台的接口调用进程，根据上述数据任务十字链表，利用各上述接口调用进程调用各上述数据处理平台，然后通过各上述数据处理平台处理各上述数据任务，使各数据任务按照存储在十字链表的中的存储关系顺序处理，解决了现有技术中无法实现自动化数据处理的问题。
本申请实施例提供了数据处理方法，参见图1a，图1a为本申请实施例的数据处理方法的一种示意图，包括如下步骤：
步骤110，获取各数据任务和各上述数据任务的依赖关系，其中，各上述数据任务分别在相应的数据处理平台进行处理。
本申请实施例的数据处理方法可以通过电子设备实现，具体的，该电子设备可以为服务器等。
在数据开发过程中，不同的数据任务之间具有紧密的联系，数据任务通常具有上下游任务的关系，且不同的数据任务在不同的数据处理平台进行处理，例如，Europa任务、Babel任务、数据集的并行运算任务、查询任务等是在不同的数据处理平台进行处理的。
步骤120，根据各上述数据任务的依赖关系，基于十字链表数据结构将上述各数据任务进行存储，得到数据任务十字链表。
根据各上述数据任务的依赖关系，可以基于十字链表数据结构将上述各数据任务进行存储，得到数据任务十字链表，以使各数据任务按照存储在十字链表的中的存储关系顺序处理，以解决现有技术中无法实现自动化数据处理的问题。例如，参见图1b，图1b为本申请实施例的数据处理方法的数据任务依赖关系示意图，现有任务A，任务B，任务C，任务D，任务E，其中5个任务之间的关系如图1b中所示，任务B和任务D是任务A的下游任务，任务E是任务B的下游任务，任务C是任务D的下游任务，任务A是任务C的下游任务等，基于十字链表数据结构将上述各数据任务进行存储，具体的，参见图1c，图1c为本申请实施例的数据处理方法的数据任务十字链表示意图，以上述各数据任务为十字链表数据结构中的顶点节点画出十字链表的顶点结构，其中顶点节点结构包含有顶点，顶点连接弧的入弧节点和出弧节点；然后画出各顶点表示出弧的所有关系，入弧表示图中发出箭头的顶点，出弧表示箭头指向的顶点，弧尾表示图中发出箭头的顶点，弧头表示箭头指向的顶点，同弧头表示弧头相同弧尾不同，同弧尾表示弧头不同弧尾相同，最后进行连线，生成数据任务十字链表。
在一种可能的实施方式中，上述根据上述各数据任务的依赖关系，基于十字链表数据结构将上述各数据任务进行存储，得到数据任务十字链表，包括：
根据各上述数据任务的依赖关系将各上述数据任务作为节点顺序存储；
根据上述各数据任务的依赖关系，将各所述数据任务使用弧连接，使得各上述数据任务进行链式存储。
十字链表作为一种高级的数据结构，可以很好的管理各个数据任务的依赖关系，十字链表中，顶点之间是顺序存储，而弧是链式存储。
步骤130，建立各上述数据任务对应的数据处理平台的接口调用进程。
因为各上述数据任务是在相应的数据处理平台进行处理的，所以为了能够调用相应的数据处理平台，以使相应的数据处理平台处理上述数据任务，需要建立各上述数据任务对应的数据处理平台的接口调用进程。
步骤140，根据上述数据任务十字链表，利用各上述接口调用进程调用各上述数据处理平台，以处理各上述数据任务。
根据上述数据任务十字链表，利用各上述接口调用进程调用各上述数据处理平台，以处理各上述数据任务。
在一种可能的实施方式中上述根据上述数据任务十字链表，利用各上述接口调用进程调用各上述数据处理平台，以处理各上述数据任务，包括：
根据上述数据任务十字链表中记录的各上述数据任务的依赖关系，从上述数据任务十字链表中获取当前待处理任务；
获取上述当前待处理任务相应的数据处理平台的接口调用进程，根据上述接口调用进程调用上述处理当前待处理任务相应的数据处理平台，以使上述当前待处理任务相应的数据处理平台处理上述当前待处理任务。
例如，在某项目开发过程中，需要任务从头开始重新进行计算，或者任务全部进行恢复，则上下游任务需要根据依赖关系重新进行处理。实现将各个上下游任务根据依赖关系基于十字链表数据结构将上述各数据任务进行存储，得到数据任务十字链表，然后建立各上述数据任务对应的数据处理平台的接口调用进程，例如建立数据集的并行运算任务对应的数据集的并行运算平台的接口调用进程，通过数据集的并行运算平台的接口调用进程调用数据集的并行运算平台，然后对数据集的并行运算任务进行处理，根据上述数据任务十字链表，利用各上述接口调用进程调用各上述数据处理平台，以处理各上述数据任务。
通过获取各数据任务和各上述数据任务的依赖关系，根据各上述数据任务的依赖关系，基于十字链表数据结构将上述各数据任务进行存储，得到数据任务十字链表，建立各上述数据任务对应的数据处理平台的接口调用进程，根据上述数据任务十字链表，利用各上述接口调用进程调用各上述数据处理平台，然后通过各上述数据处理平台处理各上述数据任务，以使各数据任务按照存储在十字链表的中的存储关系顺序处理，以解决现有技术中无法实现自动化数据处理的问题。
在一种可能的实施方式中在上述当前待处理任务在相应的数据处理平台处理后，上述方法还包括：
生成完成文件；
根据上述完成文件，从上述数据任务十字链表中获取下一待处理任务，上述下一待处理任务为上述当前待处理任务的下游任务；
获取上述下一待处理任务相应的数据处理平台的接口调用进程，根据上述接口调用进程调用上述处理下一待处理任务相应的数据处理平台，以使上述下一待处理任务相应的数据处理平台处理上述下一待处理任务。
例如，任务A处理完成后，生成任务A完成文件，根据上述任务A完成文件，从数据任务十字链表中获取任务A的下游任务，例如，获取任务B，则获取任务B相应的数据处理平台的接口调用进程，根据上述接口调用进程调用处理任务B相应的数据处理平台，以使上述任务B相应的数据处理平台处理上述任务B，当任务B完成后，生成任务B完成文件。
本申请实施例还提供了一种装置，参见图2，图2为本申请实施例的数据处理装置的一种示意图，上述装置包括：
第一获取模块210，用于获取各数据任务和各上述数据任务的依赖关系，其中，各上述数据任务分别在相应的数据处理平台进行处理；
存储模块220，用于根据各上述数据任务的依赖关系，基于十字链表数据结构将上述各数据任务进行存储，得到数据任务十字链表；
建立模块230，用于建立各上述数据任务对应的数据处理平台的接口调用进程；
处理模块240，用于根据上述数据任务十字链表，利用各上述接口调用进程调用各上述数据处理平台，以处理各上述数据任务。
在一种可能的实施方式中，上述处理模块240具体用于：
根据上述数据任务十字链表中记录的各上述数据任务的依赖关系，从上述数据任务十字链表中获取当前待处理任务；
获取上述当前待处理任务相应的数据处理平台的接口调用进程，根据上述接口调用进程调用上述处理当前待处理任务相应的数据处理平台，以使上述当前待处理任务相应的数据处理平台处理上述当前待处理任务。
在一种可能的实施方式中，上述装置还包括：
生成模块，用于生成完成文件；
第二获取模块，用于根据上述完成文件，从上述数据任务十字链表中获取下一待处理任务，上述下一待处理任务为上述当前待处理任务的下游任务；
第三获取模块，用于获取上述下一待处理任务相应的数据处理平台的接口调用进程，根据上述接口调用进程调用上述处理下一待处理任务相应的数据处理平台，以使上述下一待处理任务相应的数据处理平台处理上述下一待处理任务。
在一种可能的实施方式中，上述存储模块220具体用于：
根据各上述数据任务的依赖关系将各上述数据任务作为节点顺序存储；
根据上述各数据任务的依赖关系，将各上述数据任务使用弧连接，使得各上述数据任务进行链式存储。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本申请实施例还提供了一种电子设备，参见图3，图3为本申请实施例的电子设备的一种示意图，包括：处理器310、通信接口320、存储器330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信，上述存储器330，用于存放计算机程序；
上述处理器310，用于执行上述存储器330存放的计算机程序时，实现如下步骤：
获取各数据任务和各上述数据任务的依赖关系，其中，各上述数据任务分别在相应的数据处理平台进行处理；
根据各上述数据任务的依赖关系，基于十字链表数据结构将上述各数据任务进行存储，得到数据任务十字链表；
建立各上述数据任务对应的数据处理平台的接口调用进程；
根据上述数据任务十字链表，利用各上述接口调用进程调用各上述数据处理平台，以处理各上述数据任务。
可选的，处理器310，用于执行存储器330上所存放的程序时，还可以实现上述任一数据处理方法。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请实施例中，还提供了一种存储介质，该存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一上述的数据处理方法。
在本申请实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一上述的数据处理方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。上述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行上述计算机程序指令时，全部或部分地产生按照本发明实施例上述的流程或功能。上述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。上述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，上述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。上述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。上述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，各个可选方案中的技术特征只要不矛盾均可组合来形成方案，这些方案均在本申请公开的范围内。诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括上述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备及存储介质的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上上述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。
Claims (10)
1.一种数据处理方法，其特征在于，所述方法包括：
获取各数据任务和各所述数据任务的依赖关系，其中，各所述数据任务分别在相应的数据处理平台进行处理；
根据各所述数据任务的依赖关系，基于十字链表数据结构将所述各数据任务进行存储，得到数据任务十字链表；
建立各所述数据任务对应的数据处理平台的接口调用进程；
根据所述数据任务十字链表，利用各所述接口调用进程调用各所述数据处理平台，以处理各所述数据任务。
2.根据权利要求1所述的方法，其特征在于，所述根据所述数据任务十字链表，利用各所述接口调用进程调用各所述数据处理平台，以处理各所述数据任务，包括：
根据所述数据任务十字链表中记录的各所述数据任务的依赖关系，从所述数据任务十字链表中获取当前待处理任务；
获取所述当前待处理任务相应的数据处理平台的接口调用进程，根据所述接口调用进程调用所述处理当前待处理任务相应的数据处理平台，以使所述当前待处理任务相应的数据处理平台处理所述当前待处理任务。
3.根据权利要求2所述的方法，其特征在于，在所述当前待处理任务在相应的数据处理平台处理后，所述方法还包括：
生成完成文件；
根据所述完成文件，从所述数据任务十字链表中获取下一待处理任务，所述下一待处理任务为所述当前待处理任务的下游任务；
获取所述下一待处理任务相应的数据处理平台的接口调用进程，根据所述接口调用进程调用所述处理下一待处理任务相应的数据处理平台，以使所述下一待处理任务相应的数据处理平台处理所述下一待处理任务。
4.根据权利要求1所述的方法，其特征在于，所述根据所述各数据任务的依赖关系，基于十字链表数据结构将所述各数据任务进行存储，得到数据任务十字链表，包括：
根据各所述数据任务的依赖关系将各所述数据任务作为节点顺序存储；
根据所述各数据任务的依赖关系，将各所述数据任务使用弧连接，使得各所述数据任务进行链式存储。
5.一种数据处理装置，其特征在于，所述装置包括：
第一获取模块，用于获取各数据任务和各所述数据任务的依赖关系，其中，各所述数据任务分别在相应的数据处理平台进行处理；
存储模块，用于根据各所述数据任务的依赖关系，基于十字链表数据结构将所述各数据任务进行存储，得到数据任务十字链表；
建立模块，用于建立各所述数据任务对应的数据处理平台的接口调用进程；
处理模块，用于根据所述数据任务十字链表，利用各所述接口调用进程调用各所述数据处理平台，以处理各所述数据任务。
6.根据权利要求5所述的装置，其特征在于，所述处理模块具体用于：
根据所述数据任务十字链表中记录的各所述数据任务的依赖关系，从所述数据任务十字链表中获取当前待处理任务；
获取所述当前待处理任务相应的数据处理平台的接口调用进程，根据所述接口调用进程调用所述处理当前待处理任务相应的数据处理平台，以使所述当前待处理任务相应的数据处理平台处理所述当前待处理任务。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
生成模块，用于生成完成文件；
第二获取模块，用于根据所述完成文件，从所述数据任务十字链表中获取下一待处理任务，所述下一待处理任务为所述当前待处理任务的下游任务；
第三获取模块，用于获取所述下一待处理任务相应的数据处理平台的接口调用进程，根据所述接口调用进程调用所述处理下一待处理任务相应的数据处理平台，以使所述下一待处理任务相应的数据处理平台处理所述下一待处理任务。
8.根据权利要求5所述的装置，其特征在于，所述存储模块具体用于：
根据各所述数据任务的依赖关系将各所述数据任务作为节点顺序存储；
根据所述各数据任务的依赖关系，将各所述数据任务使用弧连接，使得各所述数据任务进行弧链式存储。
9.一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线，其中，所述处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-4中任一项所述的数据处理方法。
10.一种存储介质，其特征在于，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-4中任一所述的数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010202488.1A CN111414264A (zh) | 2020-03-20 | 2020-03-20 | 数据处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010202488.1A CN111414264A (zh) | 2020-03-20 | 2020-03-20 | 数据处理方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111414264A true CN111414264A (zh) | 2020-07-14 |
Family
ID=71491275
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010202488.1A Pending CN111414264A (zh) | 2020-03-20 | 2020-03-20 | 数据处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111414264A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140229953A1 (en) * | 2013-02-13 | 2014-08-14 | Nvidia Corporation | System, method, and computer program product for management of dependency between tasks |
| WO2016206567A1 (zh) * | 2015-06-26 | 2016-12-29 | 阿里巴巴集团控股有限公司 | 分布式流计算系统、方法和装置 |
| CN108710532A (zh) * | 2018-05-21 | 2018-10-26 | 平安科技（深圳）有限公司 | 跨调度平台的依赖实现方法、装置、设备和存储介质 |
| CN109117141A (zh) * | 2018-09-04 | 2019-01-01 | 深圳市木瓜移动科技有限公司 | 简化编程的方法、装置、电子设备、计算机可读存储介质 |
-
2020
- 2020-03-20 CN CN202010202488.1A patent/CN111414264A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140229953A1 (en) * | 2013-02-13 | 2014-08-14 | Nvidia Corporation | System, method, and computer program product for management of dependency between tasks |
| WO2016206567A1 (zh) * | 2015-06-26 | 2016-12-29 | 阿里巴巴集团控股有限公司 | 分布式流计算系统、方法和装置 |
| CN108710532A (zh) * | 2018-05-21 | 2018-10-26 | 平安科技（深圳）有限公司 | 跨调度平台的依赖实现方法、装置、设备和存储介质 |
| CN109117141A (zh) * | 2018-09-04 | 2019-01-01 | 深圳市木瓜移动科技有限公司 | 简化编程的方法、装置、电子设备、计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220317997A1 (en) | Online Upgrade Method for Household Appliance Multi-MCU System, Electronic Device and Medium | |
| CN111124480B (zh) | 应用程序包的生成方法、装置、电子设备及存储介质 | |
| CN112988123B (zh) | 面向ddd的软件设计方法及系统 | |
| CN114116065A (zh) | 获取拓扑图数据对象的方法、装置、及电子设备 | |
| CN111061468B (zh) | 一种映射方法及装置 | |
| CN111338626B (zh) | 一种界面渲染方法、装置、电子设备及介质 | |
| CN111221525A (zh) | 一种脚本代码的生成方法、装置、电子设备及存储介质 | |
| CN111414264A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN111124382A (zh) | Java中的属性赋值方法、装置及服务器 | |
| CN112947907A (zh) | 一种创建代码分支的方法 | |
| CN111552638B (zh) | 一种代码检测方法及装置 | |
| CN112799673B (zh) | 一种网络协议数据的校核方法及装置 | |
| CN112579325A (zh) | 一种业务对象的处理方法、装置、电子设备和存储介质 | |
| CN111399832B (zh) | 一种页面编辑方法及装置 | |
| CN115268846A (zh) | 一种添加属性信息的方法、装置及计算机可读存储介质 | |
| CN111949184B (zh) | 一种新建文档的方法及装置 | |
| CN106020996A (zh) | 数据更新方法及数据更新装置 | |
| CN111399842A (zh) | 一种代码编译方法及装置 | |
| CN112114864A (zh) | cocoapods代码拉取优化方法及系统 | |
| CN111638905A (zh) | 版本号的生成方法、装置、电子设备及可读存储介质 | |
| CN110888883A (zh) | 数据存储方法、装置、系统和存储介质 | |
| CN113377674B (zh) | 一种日志代码添加方法及装置 | |
| CN114448848B (zh) | 一种交换机的测试方法、装置、电子设备及存储介质 | |
| CN110909171B (zh) | 一种数据调度方法、装置、终端及存储介质 | |
| CN111338634B (zh) | 并行构建的方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |