CN112148455A - 一种任务处理方法、设备及介质 - Google Patents
一种任务处理方法、设备及介质 Download PDFInfo
- Publication number
- CN112148455A CN112148455A CN202011056151.0A CN202011056151A CN112148455A CN 112148455 A CN112148455 A CN 112148455A CN 202011056151 A CN202011056151 A CN 202011056151A CN 112148455 A CN112148455 A CN 112148455A
- Authority
- CN
- China
- Prior art keywords
- operator
- task
- target task
- asynchronous
- response method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/52—Program synchronisation; Mutual exclusion, e.g. by means of semaphores
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明实施例公开了一种任务处理方法、设备及介质。其中，任务处理方法，包括：根据目标任务中的各算子，生成与目标任务匹配的响应方法序列，响应方法序列中包括至少一级响应方法；所述响应方法中包括至少一个同步算子，和/或至少一个异步算子，异步算子在数据处理过程中，能够实时接收相邻前一算子的执行结果，或者向相邻后一算子发送当前异步算子的执行结果；从与所述目标任务匹配的输入流中获取源数据，并调用响应方法序列中包括的各响应方法，对所述源数据进行处理。本发明实施例的技术方案，实现了通过设置异步算子提高任务处理的并发度，提升流计算的效率。
Description
技术领域
本发明实施例涉及计算机技术，尤其涉及一种任务处理方法、设备及介质。
背景技术
随着信息技术的快速发展，在互联网、金融以及运营商等领域每天会产生大量原始数据，后期需要对这些原始数据进行处理和统计。在传统的数据处理中，往往先将原始数据存储至数据库，在数据库中对数据进行查询统计，但是这种数据处理方式无法满足对数据处理实时性有需求的业务场景，例如，金融行业的实时风控，以及运营商的广告推送等。
现有技术中，为了实现数据的实时处理，一般采用分布式任务处理技术，在流计算处理中，会通过编译生成一个执行计划，该执行计划通常是一个有向无环图(DirectedAcyclic Graph，DAG)，执行单元会将DAG中的算子切分成一个或多个子任务，最终针对每个子任务开启一个线程去执行，这种处理方式会带来一些问题：一方面，随着子任务数量或者复杂度的增加，需要开启的线程数量也越多，容易对服务器造成较大的管理和调度压力；另一方面，处理模型以下游算子拉取上游算子输出数据的方式运行，只有下游算子需要数据才会触发上游算子的计算，无法同步处理上下游数据，造成性能瓶颈。
发明内容
本发明实施例提供一种任务处理方法、设备及介质，通过设置异步算子提高任务处理的并发度，提升流计算的效率。
第一方面，本发明实施例提供了一种任务处理方法，所述方法包括：
根据目标任务中的各算子，生成与目标任务匹配的响应方法序列，响应方法序列中包括至少一级响应方法；
所述响应方法中包括至少一个同步算子，和/或至少一个异步算子，所述异步算子在数据处理过程中，能够实时接收相邻前一算子的执行结果，或者向相邻后一算子发送当前异步算子的执行结果；
从与所述目标任务匹配的输入流中获取源数据，并调用响应方法序列中包括的各响应方法，对所述源数据进行处理。
第二方面，发明实施例提供了一种任务处理方法，应用于分布式流处理平台中，所述分布式流处理平台包括多个执行节点，所述方法包括：
将完整任务进行拆分处理，得到至少一个目标任务，从数据源获取与所述完整任务对应的源数据，并将所述源数据分发至与各所述目标任务对应的输入流中；
将各所述目标任务分配至匹配的执行节点，并通过各所述执行节点执行本发明任意实施例提供的任务处理方法，对所分配的目标任务进行处理。
第三方面，本发明实施例还提供了一种计算机设备，包括处理器和存储器，存储器用于存储指令，当指令执行时使得处理器执行以下操作：
根据目标任务中的各算子，生成与目标任务匹配的响应方法序列，响应方法序列中包括至少一级响应方法；
所述响应方法中包括至少一个同步算子，和/或至少一个异步算子，所述异步算子在数据处理过程中，能够实时接收相邻前一算子的执行结果，或者向相邻后一算子发送当前异步算子的执行结果；
从与所述目标任务匹配的输入流中获取源数据，并调用响应方法序列中包括的各响应方法，对所述源数据进行处理。
第四方面，本发明实施例还提供了一种计算机设备，包括处理器和存储器，存储器用于存储指令，当指令执行时使得处理器执行以下操作：
将完整任务进行拆分处理，得到至少一个目标任务，从数据源获取与所述完整任务对应的源数据，并将所述源数据分发至与各所述目标任务对应的输入流中；
将各所述目标任务分配至匹配的执行节点，并通过各所述执行节点执行任意实施例提供的任务处理方法，对所分配的目标任务进行处理。
第五方面，本发明实施例还提供了一种存储介质，存储介质用于存储指令，指令用于执行：
根据目标任务中的各算子，生成与目标任务匹配的响应方法序列，响应方法序列中包括至少一级响应方法；
所述响应方法中包括至少一个同步算子，和/或至少一个异步算子，所述异步算子在数据处理过程中，能够实时接收相邻前一算子的执行结果，或者向相邻后一算子发送当前异步算子的执行结果；
从与所述目标任务匹配的输入流中获取源数据，并调用响应方法序列中包括的各响应方法，对所述源数据进行处理。
或者用于执行：
将完整任务进行拆分处理，得到至少一个目标任务，从数据源获取与所述完整任务对应的源数据，并将所述源数据分发至与各所述目标任务对应的输入流中；
将各所述目标任务分配至匹配的执行节点，并通过各所述执行节点执行任意实施例提供的任务处理方法，对所分配的目标任务进行处理。
本发明实施例的技术方案，根据目标任务中的各算子，生成与目标任务匹配的响应方法序列，响应方法中包括至少一个同步算子，和/或至少一个异步算子，异步算子在数据处理过程中，能够实时接收相邻前一算子的执行结果，或者向相邻后一算子发送当前异步算子的执行结果，最终从与目标任务匹配的输入流中获取源数据，并调用响应方法序列中包括的各响应方法，对源数据进行处理，解决了现有技术中处理模型以下游算子拉取上游算子输出数据的方式运行，无法同步处理上下游数据，通过设置异步算子，提高任务处理的并发度，从而提升流计算的效率。
附图说明
图1a是本发明实施例一中的一种任务处理方法的流程图；
图1b是本发明实施例一中的任务处理流程图；
图2是本发明实施例二中的一种任务处理方法的流程图；
图3是本发明实施例三中的一种任务处理方法的流程图；
图4a是本发明实施例四中的一种任务处理方法的流程图；
图4b是本发明实施例四中提供的分布式流处理平台示意图；
图5是本发明实施例五中的一种任务处理装置的结构示意图；
图6是本发明实施例六中的一种任务处理装置的结构示意图；
图7是本发明实施例七提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
本文使用的术语“完整任务”包含至少一个输入源，至少一个输出源，以及完整业务逻辑，用于将输入的数据经过多次处理之后输出到输出源中。
本文使用的术语“任务”是由分布式流处理平台对完整任务进行拆分得到的，一个完整任务可以拆分为至少一个任务，一个任务可以包含一个或多个算子，算子可以是同步算子或者异步算子，并且任务是在不同的分布式执行节点上运行和调度的最小单元，一个任务只会在一个节点上运行。
本文使用的术语“响应方法”是对接收到的事件(输入数据、异步处理返回数据)进行处理的方法，响应方法对至少一个算子进行解析生成的。
本文使用的术语“算子”是数据业务逻辑的最小处理单元，例如Join，filter，union，groupby，sum，count，average，用户自定义的业务逻辑等等。
本文使用的术语“异步等待队列”是用于存储与异步算子相邻的前一算子的执行结果的队列。
本文使用的术语“执行节点”是布式流处理平台中的物理设备，每个执行节点启动设定数量的线程。
实施例一
图1a为本发明实施例一中的一种任务处理方法的流程图，本实施例的技术方案适用于在流处理过程中通过异步算子执行IO任务的情况，该方法可以由任务处理装置执行，该装置可以由软件和/或硬件来实现，并可以集成在各种通用计算机设备中。本实施例提供的方法主要通过设置异步算子提高任务处理的并发度，提升流计算的效率，具体包括如下步骤：
步骤110、根据目标任务中的各算子，生成与目标任务匹配的响应方法序列，响应方法序列中包括至少一级响应方法；
响应方法中包括至少一个同步算子，和/或至少一个异步算子，异步算子在数据处理过程中，能够实时接收相邻前一算子的执行结果，或者向相邻后一算子发送当前异步算子的执行结果。
其中，任务是由分布式流处理平台对完整任务进行拆分得到的，一个完整任务可以拆分为至少一个任务，一个任务可以包含一个或多个算子，算子可以是同步算子或者异步算子，并且任务是在不同的分布式执行节点上运行和调度的最小单元，一个任务只会在一个节点上运行；目标任务是当前用户发起的待执行的任务。
本实施例中，分布式流处理平台中的执行节点在接收到目标任务后，对目标任务中的各算子进行解析，生成一个或多个针对事件的响应方法，事件可以是从输入流获取的输入数据，也可以是异步处理返回的数据。其中，响应方法包括至少一个同步算子，和/或至少一个异步算子，异步算子在数据处理过程中，能够实时接收相邻前一算子的执行结果，或者向相邻后一算子发送当前异步算子的执行结果，也就是说，异步算子能够以异步的方式处理IO任务，不阻塞当前线程，提高流处理效率。
示例性的，执行节点在接收到目标任务后，首先确认目标任务包含的全部算子，然后将相邻的同步算子进行合并，最终根据合并后的各算子，生成一个或多个响应方法，并由至少一个响应方法构成响应方法序列，具体的，可以根据一个或多个同步算子，生成响应方法；也可以根据一个或多个异步算子，生成响应方法；还可以根据至少一个同步算子和至少一个异步算子，共同生成响应方法。其中，异步算子能够处理IO任务，从而实现上下游算子的同步处理，提高流处理效率。
步骤120、从与目标任务匹配的输入流中获取源数据，并调用响应方法序列中包括的各响应方法，对源数据进行处理。
本实施例中，各执行节点从与目标任务匹配的输入流中获取源数据，然后调用与目标任务对应的响应方法序列中包括的全部响应方法，对源数据进行处理，具体的，各目标任务预先绑定了任务处理线程，执行节点通过与目标任务绑定的任务处理线程，调用与目标任务对应的响应方法序列中的响应方法，对从输入流中获取到的源数据进行处理。
其中，异步算子在数据处理过程中，能够发起异步请求，执行IO任务，包括实时接收前一算子的执行结果，或者向下一算子发送经当前异步算子处理的执行结果，具体如图1b所示，异步算子2和3可以在处理数据过程中，通过异步的方式执行IO任务，包括接收前一算子的执行结果，或将当前异步算子的执行结果发送至下一算子，其中，接收到的前一算子的执行结果可以存放在异步等待队列中，可以提高任务的并发度，提升流计算的吞吐量。
本发明实施例的技术方案，根据目标任务中的各算子，生成与目标任务匹配的响应方法序列，响应方法中包括至少一个同步算子，和/或至少一个异步算子，异步算子在数据处理过程中，能够实时接收相邻前一算子的执行结果，或者向相邻后一算子发送当前异步算子的执行结果，最终从与目标任务匹配的输入流中获取源数据，并调用响应方法序列中包括的各响应方法，对源数据进行处理，解决了现有技术中处理模型以下游算子拉取上游算子输出数据的方式运行，无法同步处理上下游数据，通过设置异步算子，提高任务处理的并发度，从而提升流计算的效率。
实施例二
图2为本发明实施例二中的一种任务处理方法的流程图，本实施例在上述实施例的基础上进一步细化，提供了在根据目标任务中的各算子，生成与目标任务匹配的响应方法序列之后的具体步骤，以及调用响应方法序列中包括的各响应方法，对源数据进行处理的具体步骤。下面结合图2对本发明实施例二提供的一种任务处理方法进行说明，包括以下步骤：
步骤210、根据目标任务中的各算子，生成与目标任务匹配的响应方法序列，响应方法序列中包括至少一级响应方法；
响应方法中包括至少一个同步算子，和/或至少一个异步算子，异步算子在数据处理过程中，能够实时接收相邻前一算子的执行结果，或者向相邻后一算子发送当前异步算子的执行结果。
可选的，根据目标任务中的各算子，生成与目标任务匹配的响应方法序列，包括：
获取与所述目标任务匹配的算子序列，并从所述算子序列中依次获取一个算子作为当前算子；
如果当前算子为同步算子，则在所述算子序列中获取以所述当前算子为起点的连续同步算子集合，并将所述连续同步算子集合中的各同步算子合并为一个同步算子；
将当前算子的后一算子，或者所述连续同步算子集合的末位算子的后一算子作为新的当前算子后，返回执行从所述算子序列中依次获取一个算子作为当前算子的操作，直至完成对算子序列中全部算子的处理；
根据至少一个同步算子，和/或至少一个异步算子，生成对应的响应方法；
按照各所述响应方法的生成顺序，得到所述响应方法序列。
本可选的实施例中，提供一种根据目标任务中的各算子，生成与目标任务匹配的响应方法序列的具体方式，目标任务匹配的算子序列中包括多个算子，多个算子中包括至少一个同步算子和至少一个异步算子，首先，获取与目标任务匹配的算子序列，并从算子序列中依次取出一个算子作为当前算子，如果当前算子是同步算子，则在算子序列中获取以当前算子为起点的连续同步算子集合，并根据连续同步算子集合中的各同步算子合并为一个同步算子，也就是说将相邻的同步算子进行合并，然后将当前算子的后一算子，或者连续同步算子集合的末位算子的后一算子作为新的当前算子，返回执行从算子序列中依次获取一个算子作为当前算子的操作，直至完成对算子序列中全部算子的处理，进一步的，根据至少一个合并后的同步算子，和/或至少一个异步算子，生成对应的响应方法，最终按照各响应方法的生成顺序，得到响应方法序列。其中，异步响应方法可以以异步的方式执行IO任务，不会阻塞线程。
示例性的，目标任务匹配的算子序列为“同步算子1，同步算子2，同步算子3，异步算子4”则以算子序列中第一个算子为当前算子，将连续的同步算子1，2和3进行合并，得到一个合并后的同步算子，最终可以根据合并后的同步算子，生成响应方法1，根据异步算子4生成响应方法2，最终按照响应方法的生成顺序，得到与目标任务匹配的响应方法序列为“响应方法1，响应方法2”。
步骤220、针对各响应方法中包含的异步算子，生成与异步算子对应的异步等待队列，异步等待队列用于存放异步算子执行IO任务时获取的至少一个异步等待对象。
异步算子能够发起异步的IO任务请求，以实现在数据处理过程中，接收相邻前一算子的执行结果，或者发送当前异步算子的执行结果至相邻下一算子。
本实施例中，获取响应方法序列中包括的至少一个响应方法，为了能够使响应方法中的异步算子对执行IO任务时获取到数据进行存储，生成与各异步算子分别对应的异步等待队列，其中，异步等待队列用于存储与相邻前一算子的执行结果。示例性的，异步算子2接收到前一算子的执行结果分别为数据3和数据4，则将数据3数据4按顺序存放在异步等待队列中，异步算子2在处理完当前正在处理的数据后，从异步等待队列中按顺序获取数据进行处理。
步骤230、从与目标任务匹配的输入流中获取源数据，并通过目标处理线程调用响应方法序列中包括的各响应方法，对源数据进行处理，其中，目标处理线程预先与目标任务进行绑定。
其中，执行节点在接收到目标任务后，会根据各线程的繁忙程度选择一个线程作为目标处理线程，与当前目标任务进行绑定。
本实施例中，从与目标任务匹配的输入流中获取到源数据后，通过目标处理线程调用与目标任务对应的响应方法序列中包含的各响应方法对源数据进行处理。
本发明实施例的技术方案，首先根据目标任务中的各算子，生成与目标任务匹配的响应方法序列，其中，响应方法中包括响应方法中包括至少一个同步算子，和/或至少一个异步算子，然后针对各响应方法中包含的异步算子，生成与异步算子对应的异步等待队列，以存储异步算子执行IO任务时获取的至少一个异步等待对象，最终从与目标任务匹配的输入流中获取源数据，并通过目标处理线程调用响应方法序列中包括的各响应方法，对源数据进行处理，通过设置异步算子的方式，将下游算子拉取上游算子输出数据的方式，变更为上游推送给下游的方式，降低流任务处理时延，提高任务并发度和任务处理效率。
实施例三
图3为本发明实施例三中的一种任务处理方法的流程图，本实施例的技术方案适用于在流处理过程中通过异步算子执行IO任务的情况，该方法可以由任务处理装置执行，该装置可以由软件和/或硬件来实现，并可以集成在各种通用计算机设备中。
本实施例中提供的任务处理方法应用于分布式流处理平台，其中，分布式流处理平台包括多个执行节点，下面结合图3对本发明实施例三提供的一种任务处理方法进行说明，包括以下步骤：
步骤310、将完整任务进行拆分处理，得到至少一个目标任务，从数据源获取与完整任务对应的源数据，并将源数据分发至与各目标任务对应的输入流中。
其中，完整任务包含一个或者多个输入源，一个或者多个输出源，以及完整业务逻辑，用于将输入的数据经过多次处理之后输出到输出源中。
本实施例中，分布式流处理平台在接收到用户下发的完整任务后，为了对完整任务进行分布式处理，将完整任务进行拆分，得到至少一个目标任务，然后从数据源获取与完整任务对应的源数据，最终将源数据分发至匹配的目标任务对应的输入流中，其中，数据源可以是数据库或者kafka等。
示例性的，对完整任务进行拆分，得到3个目标任务，分别为目标任务1，目标任务2和目标任务3，上述目标任务分别对应的输入流分别为输入流1，输入流2和输入流3，然后从数据源中获取与该完整任务对应的源数据，根据源数据和目标任务的对应关系，将源数据分发至与对应的目标任务匹配的输入流中，例如，将与目标任务2对应的源数据分发至输入流2。
步骤320、将各目标任务分配至匹配的执行节点，并通过各执行节点对所分配的目标任务进行处理。
其中，执行节点是分布式流处理平台中的物理设备，每个执行节点启动设定数量的线程，当执行节点接收到目标任务时，会将目标任务与启动的某一线程绑定。
本实施例中，分布式流处理平台在获取到目标任务后，将各目标任务分配至匹配的执行节点，并通过执行节点启动的线程对目标任务进行处理，示例性的，分布式流处理平台将目标任务1分配至执行节点1，具体的，按照执行节点1启动的任务处理线程的繁忙程度，将目标任务分配至某一任务处理线程，最终由执行节点启动的任务处理线程对目标任务进行处理。
本发明实施例的技术方案，分布式流处理平台首先将完整任务进行拆分处理，得到至少一个目标任务，并从数据源获取与完整任务对应的源数据分发至与各目标任务对应的输入流中，然后将各目标任务分配至匹配的执行节点，通过各执行节点对所分配的目标任务进行处理，其中，目标任务中包括同步算子和异步算子，异步算子可以用于处理输入输出任务，解决了现有技术中处理模型以下游算子拉取上游算子输出数据的方式运行，无法同步处理上下游数据，通过设置异步算子提高了任务处理的并发度，从而提升流计算的效率。
实施例四
图4a为本发明实施例四中的一种任务处理方法的流程图，本实施例在上述实施例的基础上进一步细化，提供了从数据源获取与所述完整任务对应的源数据的具体步骤，以及将完整任务进行拆分处理，得到至少一个目标任务之后的具体步骤。下面结合图4a对本发明实施例四提供的一种任务处理方法进行说明，包括以下步骤：
步骤410、将完整任务进行拆分处理，得到至少一个目标任务。
步骤420、将至少一个目标任务分别与各执行节点预先开启的设定数量的任务处理线程进行绑定，其中一个目标任务对应一个任务处理线程，一个任务处理线程对应至少一个目标任务。
本实施例中，每个执行节点都会预先开启设定数据的线程，例如，每个执行节点开启的线程数可以通过负载系数和CPU(central processing unit，中央处理器)核心数量相乘得到，其中，负载系数是由用户设置的，负载系数越大对系统资源的利用率越高，分布式流处理平台在获取到至少一个目标任务后，将每个目标任务与执行节点预先开启的任务处理线程绑定，具体如图4b所示，一个目标任务只能在一个任务处理线程上处理，一个任务处理线程可以绑定一个目标任务队列，目标任务队列中可以包括至少一个目标任务。具体的，每个任务处理线程在绑定一个目标任务后，该任务处理线程的繁忙程度加1，当执行节点接收到新的目标任务后，确定当前繁忙程度最低的任务处理线程，并将目标任务与该繁忙程度最低的任务处理线程绑定。
步骤430、通过泵站从数据源获取与完整任务对应的源数据。
本实施例中，当外部数据源为数据库或者kafka等不支持主动将源数据推送至分布式流处理平台的数据源时，新增泵站，通过泵站不断的从上述外部数据源中获取与完整任务对应的源数据。
步骤440、根据源数据与各目标任务的对应关系，将源数据分发至与各目标任务对应的输入流中。
本实施例中，每个目标任务与不同的输入流匹配，如图4b所示，输入流中包括与该目标任务匹配的源数据，根据源数据和目标任务的对应关系，将源数据分发至与对应的目标任务匹配的输入流中，示例性的，目标任务1与输入流1匹配，在获取到源数据后，确定源数据与目标任务的对应关系，例如，当前源数据对应目标任务1，则将源数据输入至于目标任务1对应的输入流1。
步骤450、将各目标任务分配至匹配的执行节点，并通过各执行节点对所分配的目标任务进行处理。
可选的，在通过各执行节点对所分配的目标任务进行处理时，还包括：
通过中继器获取目标任务所属的目标处理线程对应的任务数量以及目标任务包含的异步算子对应的异步等待队列中包含的执行结果数量；
当执行结果数量超过第一阈值，和/或任务数量超过第二阈值，则暂停获取源数据。
本可选的实施例中，在通过各执行节点对分配的目标任务进行处理时，为了对目标任务对应源数据的获取速度进行控制，通过中继器实时获取目标任务所属的任务处理线程对应的任务数量，即该任务处理线程对应的目标任务队列中目标任务的数据，以及目标任务包含的异步算子对应的异步等待队列中包含的异步等待对象，当满足下述至少一个条件时，暂停获取源数据：
1)目标任务队列中的目标任务数量超过预先设定的第二阈值；
2)异步等待队列中的异步等待对象数量超过预先设定的第一阈值。
当目标任务队列中的目标任务数量和异步等待队列中的异步等待对象均降低至设定数量，则继续从数据源获取源数据。
可选的，在通过各执行节点对所分配的目标任务进行处理时，还包括：
通过阻塞监控器，获取目标任务包含的各响应方法的执行时间；
当至少一个响应方法的执行时间超过设定时间阈值时，生成预警提示信息，以对运维人员进行阻塞提示。
本可选的实施例中，在通过各执行节点对所分配的目标任务进行处理时，为了对目标任务包含的各响应方法的执行情况进行监控，通过阻塞监控器实时获取目标任务包含的各响应方法的执行时间，当至少一个响应方法的执行时间超过预先设定的时间阈值，则生成预警提示信息，以提示运维人员发生阻塞。示例性的，各响应方法的设定时间阈值可以是根据各响应方法的平均执行时间设定的。
本公开实施例中，首先将完整任务进行拆分处理，得到至少一个目标任务，并将至少一个目标任务分别与各执行节点预先开启的设定数量的任务处理线程进行绑定，其中一个目标任务对应一个任务处理线程，一个任务处理线程对应至少一个目标任务，然后通过泵站从数据源获取与完整任务对应的源数据，并根据源数据与各目标任务的对应关系，将源数据分发至与各目标任务对应的输入流中，最终将各目标任务分配至匹配的执行节点，并通过各执行节点对所分配的目标任务进行处理，且在对目标任务进行处理过程中通过中继器监控目标处理线程对应的任务数量以及异步等待队列中包含的异步等待对象的数量，通过阻塞监控器监控目标任务中各响应方法的执行时间，一方面，通过设置异步算子提高任务处理的并发度，提升流计算的效率，且通过线程复用的方式，提升资源利用率，另一方面，通过设置中继器和阻塞监控器，控制流数据资源的获取速度。
实施例五
图5为本发明实施例五提供的一种任务处理装置的结构示意图，该任务处理装置，包括：响应方法序列生成模块510和源数据处理模块520。
响应方法序列生成模块510，用于根据目标任务中的各算子，生成与目标任务匹配的响应方法序列，响应方法序列中包括至少一级响应方法；
所述响应方法中包括至少一个同步算子，和/或至少一个异步算子，所述异步算子在数据处理过程中，能够实时接收相邻前一算子的执行结果，或者向相邻后一算子发送当前异步算子的执行结果；
源数据处理模块520，用于从与所述目标任务匹配的输入流中获取源数据，并调用响应方法序列中包括的各响应方法，对所述源数据进行处理。
本发明实施例的技术方案，根据目标任务中的各算子，生成与目标任务匹配的响应方法序列，响应方法中包括至少一个同步算子，和/或至少一个异步算子，异步算子在数据处理过程中，能够实时接收相邻前一算子的执行结果，或者向相邻后一算子发送当前异步算子的执行结果，最终从与目标任务匹配的输入流中获取源数据，并调用响应方法序列中包括的各响应方法，对源数据进行处理，解决了现有技术中处理模型以下游算子拉取上游算子输出数据的方式运行，无法同步处理上下游数据，通过设置异步算子，提高任务处理的并发度，从而提升流计算的效率。
可选的，响应方法序列生成模块510，具体用于：
获取与所述目标任务匹配的算子序列，并从所述算子序列中依次获取一个算子作为当前算子；
如果当前算子为同步算子，则在所述算子序列中获取以所述当前算子为起点的连续同步算子集合，并将所述连续同步算子集合中的各同步算子合并为一个同步算子；
将当前算子的后一算子，或者所述连续同步算子集合的末位算子的后一算子作为新的当前算子后，返回执行从所述算子序列中依次获取一个算子作为当前算子的操作，直至完成对算子序列中全部算子的处理；
根据至少一个同步算子，和/或至少一个异步算子，生成对应的响应方法；
按照各所述响应方法的生成顺序，得到所述响应方法序列。
可选的，所述任务处理方法，还包括：
异步等待队列生成模块，用于在针对各响应方法中包含的异步算子，生成与所述异步算子对应的异步等待队列，所述异步等待队列用于存放所述异步算子执行IO任务时获取的至少一个异步等待对象。
可选的，源数据处理模块520，具体用于：
通过目标处理线程调用响应方法序列中包括的各响应方法，对所述源数据进行处理，其中，所述目标处理线程预先与所述目标任务进行绑定。
本发明实施例所提供的任务处理装置可执行本发明任意实施例所提供的任务处理方法，具备执行方法相应的功能模块和有益效果。
实施例六
图6为本发明实施例六提供的一种任务处理装置的结构示意图，该任务处理装置，包括：目标任务获取模块610和目标任务处理模块620。
目标任务获取模块610，用于将完整任务进行拆分处理，得到至少一个目标任务，从数据源获取与所述完整任务对应的源数据，并将所述源数据分发至与各所述目标任务对应的输入流中；
目标任务处理模块620，用于将各所述目标任务分配至匹配的执行节点，并通过各所述执行节点执行权任意实施例提供的任务处理方法，对所分配的目标任务进行处理。
本发明实施例的技术方案，分布式流处理平台首先将完整任务进行拆分处理，得到至少一个目标任务，并从数据源获取与完整任务对应的源数据分发至与各目标任务对应的输入流中，然后将各目标任务分配至匹配的执行节点，通过各执行节点对所分配的目标任务进行处理，其中，目标任务中包括同步算子和异步算子，异步算子可以用于处理输入输出任务，解决了现有技术中处理模型以下游算子拉取上游算子输出数据的方式运行，无法同步处理上下游数据，通过设置异步算子提高任务处理的并发度，从而提升流计算的效率。
可选的，目标任务获取模块610，包括：
源数据获取单元，用于通过泵站从所述数据源获取与所述完整任务对应的源数据；
源数据分发单元，用于根据所述源数据与各目标任务的对应关系，将所述源数据分发至与各所述目标任务对应的输入流中。
可选的，任务处理装置，还包括：
线程绑定模块，用于在将完整任务进行拆分处理，得到至少一个目标任务之后，将所述至少一个目标任务分别与各执行节点预先开启的设定数量的任务处理线程进行绑定，其中一个目标任务对应一个任务处理线程，一个任务处理线程对应至少一个目标任务。
可选的，任务处理装置，还包括：
数量获取模块，用于在通过各所述执行节点对所分配的目标任务进行处理时，通过中继器获取所述目标任务所属的目标处理线程对应的任务数量以及所述目标任务包含的异步算子对应的异步等待队列中包含的执行结果数量；
源数据暂停模块，用于当所述执行结果数量超过第一阈值，和/或所述任务数量超过第二阈值，则暂停获取源数据。
可选的，任务处理装置，还包括：
执行时间获取模块，用于在通过各所述执行节点对所分配的目标任务进行处理时，通过阻塞监控器，获取目标任务包含的各响应方法的执行时间；
预警提示模块，用于当至少一个响应方法的执行时间超过设定时间阈值时，生成预警提示信息，以对运维人员进行阻塞提示。
本发明实施例所提供的任务处理装置可执行本发明任意实施例所提供的任务处理方法，具备执行方法相应的功能模块和有益效果。
实施例七
图7为本发明实施例七提供的一种计算机设备的结构示意图，如图7所示，该设备包括处理器70、存储器71、输入装置72和输出装置73；设备中处理器70的数量可以是一个或多个，图7中以一个处理器70为例；设备中的处理器70、存储器71、输入装置72和输出装置73可以通过总线或其他方式连接，图7中以通过总线连接为例。
存储器71作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的任务处理方法对应的程序指令/模块(例如，任务处理装置中的响应方法序列生成模块510和源数据处理模块520，或者，目标任务获取模块610和目标任务处理模块620)。处理器70通过运行存储在存储器71中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的任务方法。
存储器71可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器71可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器71可进一步包括相对于处理器70远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器70通过运行存储在存储器71中的指令，从而执行各种功能应用以及数据处理，例如执行以下操作：根据目标任务中的各算子，生成与目标任务匹配的响应方法序列，响应方法序列中包括至少一级响应方法；所述响应方法中包括至少一个同步算子，和/或至少一个异步算子，所述异步算子在数据处理过程中，能够实时接收相邻前一算子的执行结果，或者向相邻后一算子发送当前异步算子的执行结果；从与所述目标任务匹配的输入流中获取源数据，并调用响应方法序列中包括的各响应方法，对所述源数据进行处理。
在上述各实施例的基础上，处理器70是设置为通过以下方式生成与目标任务匹配的响应方法序列：获取与所述目标任务匹配的算子序列，并从所述算子序列中依次获取一个算子作为当前算子；如果当前算子为同步算子，则在所述算子序列中获取以所述当前算子为起点的连续同步算子集合，并将所述连续同步算子集合中的各同步算子合并为一个同步算子；将当前算子的后一算子，或者所述连续同步算子集合的末位算子的后一算子作为新的当前算子后，返回执行从所述算子序列中依次获取一个算子作为当前算子的操作，直至完成对算子序列中全部算子的处理；根据至少一个同步算子，和/或至少一个异步算子，生成对应的响应方法；按照各所述响应方法的生成顺序，得到所述响应方法序列。
在上述各实施例的基础上，处理器70是设置为通过以下方式生成异步等待队列：针对各响应方法中包含的异步算子，生成与所述异步算子对应的异步等待队列，所述异步等待队列用于存放所述异步算子执行IO任务时获取的至少一个异步等待对象。在上述各实施例的基础上，处理器70是设置为通过以下方式对源数据进行处理：通过目标处理线程调用响应方法序列中包括的各响应方法，对所述源数据进行处理，其中，所述目标处理线程预先与所述目标任务进行绑定。
处理器70通过运行存储在存储器71中的指令，从而执行各种功能应用以及数据处理，例如执行以下操作：将完整任务进行拆分处理，得到至少一个目标任务，从数据源获取与所述完整任务对应的源数据，并将所述源数据分发至与各所述目标任务对应的输入流中；将各所述目标任务分配至匹配的执行节点，并通过各所述执行节点执行任意实施例提供的任务处理方法，对所分配的目标任务进行处理。
在上述各实施例的基础上，处理器70是设置为通过以下方式获取源数据：通过泵站从所述数据源获取与所述完整任务对应的源数据；根据所述源数据与各目标任务的对应关系，将所述源数据分发至与各所述目标任务对应的输入流中。
在上述各实施例的基础上，处理器70是设置为通过以下方式将目标任务与任务处理线程绑定：将所述至少一个目标任务分别与各执行节点预先开启的设定数量的任务处理线程进行绑定，其中一个目标任务对应一个任务处理线程，一个任务处理线程对应至少一个目标任务。
在上述各实施例的基础上，处理器70是设置为通过以下方式控制源数据获取速度：通过中继器获取所述目标任务所属的目标处理线程对应的任务数量以及所述目标任务包含的异步算子对应的异步等待队列中包含的执行结果数量；当所述执行结果数量超过第一阈值，和/或所述任务数量超过第二阈值，则暂停获取源数据。
在上述各实施例的基础上，处理器70是设置为通过以下方式监控响应方法执行时间：通过阻塞监控器，获取目标任务包含的各响应方法的执行时间；当至少一个响应方法的执行时间超过设定时间阈值时，生成预警提示信息，以对运维人员进行阻塞提示。
实施例八
本发明实施例六还提供一种存储计算机程序的计算机存储介质，所述计算机程序在由计算机处理器执行时用于执行本发明上述实施例任一所述的任务处理方法。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器((Erasable Programmable ReadOnly Memory，EPROM)或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、射频(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (19)
1.一种任务处理方法，其特征在于，包括：
根据目标任务中的各算子，生成与目标任务匹配的响应方法序列，响应方法序列中包括至少一级响应方法；
所述响应方法中包括至少一个同步算子，和/或至少一个异步算子，所述异步算子在数据处理过程中，能够实时接收相邻前一算子的执行结果，或者向相邻后一算子发送当前异步算子的执行结果；
从与所述目标任务匹配的输入流中获取源数据，并调用响应方法序列中包括的各响应方法，对所述源数据进行处理。
2.根据权利要求1所述的方法，其特征在于，根据目标任务中的各算子，生成与目标任务匹配的响应方法序列，包括：
获取与所述目标任务匹配的算子序列，并从所述算子序列中依次获取一个算子作为当前算子；
如果当前算子为同步算子，则在所述算子序列中获取以所述当前算子为起点的连续同步算子集合，并将所述连续同步算子集合中的各同步算子合并为一个同步算子；
将当前算子的后一算子，或者所述连续同步算子集合的末位算子的后一算子作为新的当前算子后，返回执行从所述算子序列中依次获取一个算子作为当前算子的操作，直至完成对算子序列中全部算子的处理；
根据至少一个同步算子，和/或至少一个异步算子，生成对应的响应方法；
按照各所述响应方法的生成顺序，得到所述响应方法序列。
3.根据权利要求1所述的方法，其特征在于，在根据目标任务中的各算子，生成与目标任务匹配的响应方法序列之后，还包括：
针对各响应方法中包含的异步算子，生成与所述异步算子对应的异步等待队列，所述异步等待队列用于存放所述异步算子执行IO任务时获取的至少一个异步等待对象。
4.根据权利要求1-3任一项所述的方法，其特征在于，调用响应方法序列中包括的各响应方法，对所述源数据进行处理，包括：
通过目标处理线程调用响应方法序列中包括的各响应方法，对所述源数据进行处理，其中，所述目标处理线程预先与所述目标任务进行绑定。
5.一种任务处理方法，其特征在于，应用于分布式流处理平台中，所述分布式流处理平台包括多个执行节点，其特征在于，所述方法包括：
将完整任务进行拆分处理，得到至少一个目标任务，从数据源获取与所述完整任务对应的源数据，并将所述源数据分发至与各所述目标任务对应的输入流中；
将各所述目标任务分配至匹配的执行节点，并通过各所述执行节点执行权利要求1-4任一项所述的方法，对所分配的目标任务进行处理。
6.根据权利要求5所述的方法，其特征在于，从数据源获取与所述完整任务对应的源数据，包括：
通过泵站从所述数据源获取与所述完整任务对应的源数据；
根据所述源数据与各目标任务的对应关系，将所述源数据分发至与各所述目标任务对应的输入流中。
7.根据权利要求5所述的方法，其特征在于，在将完整任务进行拆分处理，得到至少一个目标任务之后，还包括：
将所述至少一个目标任务分别与各执行节点预先开启的设定数量的任务处理线程进行绑定，其中一个目标任务对应一个任务处理线程，一个任务处理线程对应至少一个目标任务。
8.根据权利要求7所述的方法，其特征在于，在通过各所述执行节点对所分配的目标任务进行处理时，还包括：
通过中继器获取所述目标任务所属的目标处理线程对应的任务数量以及所述目标任务包含的异步算子对应的异步等待队列中包含的执行结果数量；
当所述执行结果数量超过第一阈值，和/或所述任务数量超过第二阈值，则暂停获取源数据。
9.根据权利要求5所述的方法，其特征在于，在通过各所述执行节点对所分配的目标任务进行处理时，还包括：
通过阻塞监控器，获取目标任务包含的各响应方法的执行时间；
当至少一个响应方法的执行时间超过设定时间阈值时，生成预警提示信息，以对运维人员进行阻塞提示。
10.一种计算机设备，包括处理器和存储器，所述存储器用于存储指令，当所述指令执行时使得所述处理器执行以下操作：
根据目标任务中的各算子，生成与目标任务匹配的响应方法序列，响应方法序列中包括至少一级响应方法；
所述响应方法中包括至少一个同步算子，和/或至少一个异步算子，所述异步算子在数据处理过程中，能够实时接收相邻前一算子的执行结果，或者向相邻后一算子发送当前异步算子的执行结果；
从与所述目标任务匹配的输入流中获取源数据，并调用响应方法序列中包括的各响应方法，对所述源数据进行处理。
11.根据权利要求10所述的计算机设备，其特征在于，所述处理器是设置为通过以下方式生成与目标任务匹配的响应方法序列：
获取与所述目标任务匹配的算子序列，并从所述算子序列中依次获取一个算子作为当前算子；
如果当前算子为同步算子，则在所述算子序列中获取以所述当前算子为起点的连续同步算子集合，并将所述连续同步算子集合中的各同步算子合并为一个同步算子；
将当前算子的后一算子，或者所述连续同步算子集合的末位算子的后一算子作为新的当前算子后，返回执行从所述算子序列中依次获取一个算子作为当前算子的操作，直至完成对算子序列中全部算子的处理；
根据至少一个同步算子，和/或至少一个异步算子，生成对应的响应方法；
按照各所述响应方法的生成顺序，得到所述响应方法序列。
12.根据权利要求10所述的计算机设备，其特征在于，所述处理器是设置为通过以下方式生成异步等待队列：
针对各响应方法中包含的异步算子，生成与所述异步算子对应的异步等待队列，所述异步等待队列用于存放所述异步算子执行IO任务时获取的至少一个异步等待对象。
13.根据权利要求10-12任一所述的计算机设备，其特征在于，所述处理器是设置为通过以下方式对源数据进行处理：
通过目标处理线程调用响应方法序列中包括的各响应方法，对所述源数据进行处理，其中，所述目标处理线程预先与所述目标任务进行绑定。
14.一种计算机设备，包括处理器和存储器，所述存储器用于存储指令，当所述指令执行时使得所述处理器执行以下操作：
将完整任务进行拆分处理，得到至少一个目标任务，从数据源获取与所述完整任务对应的源数据，并将所述源数据分发至与各所述目标任务对应的输入流中；
将各所述目标任务分配至匹配的执行节点，并通过各所述执行节点执行权利要求1-4任一项所述的方法，对所分配的目标任务进行处理。
15.根据权利要求14所述的计算机设备，其特征在于，所述处理器是设置为通过以下方式获取源数据：
通过泵站从所述数据源获取与所述完整任务对应的源数据；
根据所述源数据与各目标任务的对应关系，将所述源数据分发至与各所述目标任务对应的输入流中。
16.根据权利要求14所述的计算机设备，其特征在于，所述处理器是设置为通过以下方式将目标任务与任务处理线程绑定：
将所述至少一个目标任务分别与各执行节点预先开启的设定数量的任务处理线程进行绑定，其中一个目标任务对应一个任务处理线程，一个任务处理线程对应至少一个目标任务。
17.根据权利要求16所述的计算机设备，其特征在于，所述处理器是设置为通过以下方式控制源数据获取速度：
通过中继器获取所述目标任务所属的目标处理线程对应的任务数量以及所述目标任务包含的异步算子对应的异步等待队列中包含的执行结果数量；
当所述执行结果数量超过第一阈值，和/或所述任务数量超过第二阈值，则暂停获取源数据。
18.根据权利要求14所述的计算机设备，其特征在于，所述处理器是设置为通过以下方式监控响应方法执行时间：
通过阻塞监控器，获取目标任务包含的各响应方法的执行时间；
当至少一个响应方法的执行时间超过设定时间阈值时，生成预警提示信息，以对运维人员进行阻塞提示。
19.一种存储介质，所述存储介质用于存储指令，所述指令用于执行如权利要求1-4或者权利要求5-9中任一所述的任务处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011056151.0A CN112148455B (zh) | 2020-09-29 | 2020-09-29 | 一种任务处理方法、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011056151.0A CN112148455B (zh) | 2020-09-29 | 2020-09-29 | 一种任务处理方法、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112148455A true CN112148455A (zh) | 2020-12-29 |
| CN112148455B CN112148455B (zh) | 2021-07-27 |
Family
ID=73895247
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011056151.0A Active CN112148455B (zh) | 2020-09-29 | 2020-09-29 | 一种任务处理方法、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112148455B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112764907A (zh) * | 2021-01-26 | 2021-05-07 | 网易（杭州）网络有限公司 | 一种任务处理方法、装置、电子设备和存储介质 |
| CN113176937A (zh) * | 2021-05-21 | 2021-07-27 | 北京字节跳动网络技术有限公司 | 任务处理方法、装置和电子设备 |
| CN113377360A (zh) * | 2021-06-28 | 2021-09-10 | 北京百度网讯科技有限公司 | 任务执行方法、装置、电子设备、存储介质和程序产品 |
| CN114048030A (zh) * | 2021-11-09 | 2022-02-15 | 北京百度网讯科技有限公司 | 调度算子的方法和装置 |
| CN114741172A (zh) * | 2022-04-06 | 2022-07-12 | 深圳鲲云信息科技有限公司 | 人工智能模型的算子调度方法、装置、设备及存储介质 |
| CN115080241A (zh) * | 2022-06-30 | 2022-09-20 | 支付宝(杭州)信息技术有限公司 | 数据处理方法以及装置 |
| CN115145965A (zh) * | 2022-09-01 | 2022-10-04 | 浙江大华技术股份有限公司 | 数据流的生成方法、电子设备及计算机可读存储介质 |
| US11880709B2 (en) | 2022-01-04 | 2024-01-23 | The Toronto-Dominion Bank | System and method for handling real-time transactional events |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0415497A2 (en) * | 1989-08-29 | 1991-03-06 | Koninklijke Philips Electronics N.V. | Method of synchronizing parallel processors employing channels and compiling method minimizing cross-processor data dependencies |
| WO2002059747A1 (en) * | 2001-01-26 | 2002-08-01 | Nokia Corporation | Method and system where one thread can handle several different services concurrently |
| CN103235974A (zh) * | 2013-04-25 | 2013-08-07 | 中国科学院地理科学与资源研究所 | 一种提高海量空间数据处理效率的方法 |
| CN104778078A (zh) * | 2015-04-29 | 2015-07-15 | 江苏中威科技软件系统有限公司 | 一种内容管理系统以及信息内容发布方法 |
| CN105245372A (zh) * | 2015-10-12 | 2016-01-13 | 浪潮软件集团有限公司 | 一种基于缓存和异步机制的加载网络资源的优化方法 |
| CN108491489A (zh) * | 2018-03-14 | 2018-09-04 | 北京思特奇信息技术股份有限公司 | 一种基于多数据源的数据处理方法及系统 |
| CN109063235A (zh) * | 2018-06-19 | 2018-12-21 | 中国原子能科学研究院 | 一种用于反应堆模拟的多物理耦合系统及方法 |
| CN109726250A (zh) * | 2018-12-27 | 2019-05-07 | 星环信息科技（上海）有限公司 | 数据存储系统、元数据库同步及数据跨域计算方法 |
| CN110888720A (zh) * | 2019-10-08 | 2020-03-17 | 北京百度网讯科技有限公司 | 任务处理方法、装置、计算机设备及存储介质 |
| CN111182061A (zh) * | 2019-12-30 | 2020-05-19 | 苏宁云计算有限公司 | 任务分发处理方法、系统、计算机设备和存储介质 |
| CN111176806A (zh) * | 2019-12-05 | 2020-05-19 | 中国银联股份有限公司 | 一种业务处理方法、装置及计算机可读存储介质 |
| CN111190703A (zh) * | 2019-12-11 | 2020-05-22 | 平安医疗健康管理股份有限公司 | 实时数据处理方法、装置、计算机设备和存储介质 |
-
2020
- 2020-09-29 CN CN202011056151.0A patent/CN112148455B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0415497A2 (en) * | 1989-08-29 | 1991-03-06 | Koninklijke Philips Electronics N.V. | Method of synchronizing parallel processors employing channels and compiling method minimizing cross-processor data dependencies |
| WO2002059747A1 (en) * | 2001-01-26 | 2002-08-01 | Nokia Corporation | Method and system where one thread can handle several different services concurrently |
| CN103235974A (zh) * | 2013-04-25 | 2013-08-07 | 中国科学院地理科学与资源研究所 | 一种提高海量空间数据处理效率的方法 |
| CN104778078A (zh) * | 2015-04-29 | 2015-07-15 | 江苏中威科技软件系统有限公司 | 一种内容管理系统以及信息内容发布方法 |
| CN105245372A (zh) * | 2015-10-12 | 2016-01-13 | 浪潮软件集团有限公司 | 一种基于缓存和异步机制的加载网络资源的优化方法 |
| CN108491489A (zh) * | 2018-03-14 | 2018-09-04 | 北京思特奇信息技术股份有限公司 | 一种基于多数据源的数据处理方法及系统 |
| CN109063235A (zh) * | 2018-06-19 | 2018-12-21 | 中国原子能科学研究院 | 一种用于反应堆模拟的多物理耦合系统及方法 |
| CN109726250A (zh) * | 2018-12-27 | 2019-05-07 | 星环信息科技（上海）有限公司 | 数据存储系统、元数据库同步及数据跨域计算方法 |
| CN110888720A (zh) * | 2019-10-08 | 2020-03-17 | 北京百度网讯科技有限公司 | 任务处理方法、装置、计算机设备及存储介质 |
| CN111176806A (zh) * | 2019-12-05 | 2020-05-19 | 中国银联股份有限公司 | 一种业务处理方法、装置及计算机可读存储介质 |
| CN111190703A (zh) * | 2019-12-11 | 2020-05-22 | 平安医疗健康管理股份有限公司 | 实时数据处理方法、装置、计算机设备和存储介质 |
| CN111182061A (zh) * | 2019-12-30 | 2020-05-19 | 苏宁云计算有限公司 | 任务分发处理方法、系统、计算机设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 冀动晴空: "服务器两种高效的并发模式", 《HTTPS://WWW.JIANSHU.COM/P/5822B0FA4F2A》 * |
| 武杨 等: "爆发式数据处理模型在电力调度系统中的应用", 《电力系统及其自动化学报》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112764907A (zh) * | 2021-01-26 | 2021-05-07 | 网易（杭州）网络有限公司 | 一种任务处理方法、装置、电子设备和存储介质 |
| CN112764907B (zh) * | 2021-01-26 | 2024-05-10 | 网易（杭州）网络有限公司 | 一种任务处理方法、装置、电子设备和存储介质 |
| CN113176937B (zh) * | 2021-05-21 | 2023-09-12 | 抖音视界有限公司 | 任务处理方法、装置和电子设备 |
| CN113176937A (zh) * | 2021-05-21 | 2021-07-27 | 北京字节跳动网络技术有限公司 | 任务处理方法、装置和电子设备 |
| CN113377360A (zh) * | 2021-06-28 | 2021-09-10 | 北京百度网讯科技有限公司 | 任务执行方法、装置、电子设备、存储介质和程序产品 |
| CN113377360B (zh) * | 2021-06-28 | 2023-09-26 | 北京百度网讯科技有限公司 | 任务执行方法、装置、电子设备、存储介质和程序产品 |
| CN114048030A (zh) * | 2021-11-09 | 2022-02-15 | 北京百度网讯科技有限公司 | 调度算子的方法和装置 |
| CN114048030B (zh) * | 2021-11-09 | 2022-07-26 | 北京百度网讯科技有限公司 | 调度算子的方法和装置 |
| US11880709B2 (en) | 2022-01-04 | 2024-01-23 | The Toronto-Dominion Bank | System and method for handling real-time transactional events |
| CN114741172B (zh) * | 2022-04-06 | 2023-05-02 | 深圳鲲云信息科技有限公司 | 人工智能模型的算子调度方法、装置、设备及存储介质 |
| CN114741172A (zh) * | 2022-04-06 | 2022-07-12 | 深圳鲲云信息科技有限公司 | 人工智能模型的算子调度方法、装置、设备及存储介质 |
| CN115080241A (zh) * | 2022-06-30 | 2022-09-20 | 支付宝(杭州)信息技术有限公司 | 数据处理方法以及装置 |
| CN115145965A (zh) * | 2022-09-01 | 2022-10-04 | 浙江大华技术股份有限公司 | 数据流的生成方法、电子设备及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112148455B (zh) | 2021-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112148455B (zh) | 一种任务处理方法、设备及介质 | |
| US11188380B2 (en) | Method and apparatus for processing task in smart device | |
| CN110908788B (zh) | 基于Spark Streaming的数据处理方法、装置、计算机设备及存储介质 | |
| US9471390B2 (en) | Scheduling mapreduce jobs in a cluster of dynamically available servers | |
| CN110825535B (zh) | 一种作业调度的方法和系统 | |
| CN103309738B (zh) | 用户作业调度方法及装置 | |
| CN105045856B (zh) | 一种基于Hadoop的大数据遥感卫星数据处理系统 | |
| CN101652750B (zh) | 数据处理装置、分散处理系统、数据处理方法 | |
| CN103458270A (zh) | 视频转码系统和方法 | |
| CN111367630A (zh) | 一种基于云计算的多用户多优先级的分布式协同处理方法 | |
| CN104572290A (zh) | 消息处理线程的控制方法及装置 | |
| CN109117252B (zh) | 基于容器的任务处理的方法、系统及容器集群管理系统 | |
| CN111026519B (zh) | 基于分布式的任务优先级调度方法和系统及存储介质 | |
| US10498817B1 (en) | Performance tuning in distributed computing systems | |
| CN108958789B (zh) | 一种并行流式计算方法、电子设备、存储介质及系统 | |
| CN104102533A (zh) | 一种基于带宽感知的Hadoop调度方法和系统 | |
| CN115794262A (zh) | 任务处理方法、装置、设备、存储介质以及程序产品 | |
| CN115562846A (zh) | 一种资源调度的方法、装置及计算节点 | |
| CN115550354A (zh) | 一种数据处理方法、装置及计算机可读存储介质 | |
| Teng et al. | Scheduling real-time workflow on MapReduce-based cloud | |
| CN110750362A (zh) | 生物信息的分析方法、装置和存储介质 | |
| CN116974994A (zh) | 一种基于集群的高效能文件协作系统 | |
| CN113127225A (zh) | 一种数据处理任务的调度方法、装置和系统 | |
| CN114610765B (zh) | 流计算方法、装置、设备及存储介质 | |
| CN114924858A (zh) | 任务调度方法及装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 200233 11-12 / F, building B, 88 Hongcao Road, Xuhui District, Shanghai Applicant after: Star link information technology (Shanghai) Co.,Ltd. Address before: 200233 11-12 / F, building B, 88 Hongcao Road, Xuhui District, Shanghai Applicant before: TRANSWARP TECHNOLOGY (SHANGHAI) Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |