CN108182281B - 基于流式计算的数据处理控制方法、装置、服务器及介质 - Google Patents

基于流式计算的数据处理控制方法、装置、服务器及介质 Download PDF

Info

Publication number
CN108182281B
CN108182281B CN201810079055.4A CN201810079055A CN108182281B CN 108182281 B CN108182281 B CN 108182281B CN 201810079055 A CN201810079055 A CN 201810079055A CN 108182281 B CN108182281 B CN 108182281B
Authority
CN
China
Prior art keywords
data
task
processing
atomic
stage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810079055.4A
Other languages
English (en)
Other versions
CN108182281A (zh
Inventor
李岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Advanced New Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced New Technologies Co Ltd filed Critical Advanced New Technologies Co Ltd
Priority to CN201810079055.4A priority Critical patent/CN108182281B/zh
Publication of CN108182281A publication Critical patent/CN108182281A/zh
Application granted granted Critical
Publication of CN108182281B publication Critical patent/CN108182281B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24568—Data stream processing; Continuous queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/466—Transaction processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5011—Pool
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5021—Priority

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Advance Control (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本说明书实施例提供了一种基于流式计算的数据处理控制方法，根据数据处理的原子性对每级任务流划分为至少两个个阶段，并且两个阶段在不同的执行任务内运行。本说明书实施例可解决资源竞争、冲突问题，并可降低整体任务的复杂度。

Description

基于流式计算的数据处理控制方法、装置、服务器及介质
技术领域
本说明书实施例涉及数据处理技术领域，尤其涉及一种基于流式计算的数据处理控制方法、装置、服务器及介质。
背景技术
流式数据是大数据环境下的一种数据形态，在云计算和物联网发展下逐步成为当前的研究热点。流式数据与传统的数据是相对的。与静态、批处理和持久化的数据库相比，流式计算以连续、无边界和瞬时性为特征，适合高速并发和大规模数据实时处理的场景。
发明内容
本说明书实施例提供及一种基于流式计算的数据处理控制方法、装置、服务器及介质。
第一方面，本说明书实施例提供一种基于流式计算的数据处理控制方法，所述数据处理包括至少一级任务流，每级任务流中包括对应不同执行任务的原子阶段和处理阶段；其中：
在所述原子阶段时，在第一执行任务中执行如下操作：接收源数据，并对所述源数据执行原子操作；将执行了原子操作的数据流转到所述处理阶段；
在多个第二执行任务中执行所述处理阶段：接收来自所述原子阶段的数据；将接收到的数据分配到各个第二执行任务中，由所述多个第二执行任务对数据进行并行处理。
第二方面，本说明书实施例提供一种基于流式计算的数据处理控制装置，所述数据处理包括至少一级任务流，每级任务流中包括对应不同执行任务的原子阶段和处理阶段；其中：
原子阶段控制单元，用于在所述原子阶段时，在第一执行任务中：接收源数据，并对所述源数据执行原子操作；将执行了原子操作的数据流转到所述处理阶段；
处理阶段控制单元，用于在所述处理阶段时，在多个第二执行任务中：接收来自所述原子阶段的数据；将接收到的数据分配到各个第二执行任务中，由所述多个第二执行任务对数据进行并行处理。
第三方面，本说明书实施例提供一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述基于流式计算的数据处理控制方法的步骤。
第四方面，本说明书实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述基于流式计算的数据处理控制方法的步骤。
本说明书实施例有益效果如下：
本说明书实施例中，根据数据处理的原子性对每级任务流处理过程划分为两个阶段，并且两个阶段在不同的执行任务内运行，由此，在保证了原子操作的前提下，由于各个执行任务使用不同的资源池，因此，可有效解决多个数据处理过程之间内在的资源竞争、冲突问题；而且，在保证数据处理预期不变的前提下，将原本一个大的、单一的执行任务，拆分为多个执行任务，可有效降低整体任务的复杂度。
附图说明
图1为本说明书实施例的流式计算系统示意图；
图2本说明书实施例的流式计算系统实现原理示意图；
图3本说明书实施例第一方面提供的基于流式计算的数据处理控制方法中多级任务流原理示意图；
图4本说明书实施例第一方面提供的基于流式计算的数据处理控制方法流程图；
图5本说明书实施例第一方面提供的基于流式计算的数据处理控制方法中每级任务流中原子阶段与处理阶段关系示意图；
图6本说明书实施例第二方面提供的基于流式计算的数据处理控制装置机构示意图；
图7为本说明书实施例第三方面提供的基于流式计算的数据处理控制服务器结构示意图。
具体实施方式
为了更好的理解上述技术方案，下面通过附图以及具体实施例对本说明书实施例的技术方案做详细的说明，应当理解本说明书实施例以及实施例中的具体特征是对本说明书实施例技术方案的详细的说明，而不是对本说明书技术方案的限定，在不冲突的情况下，本说明书实施例以及实施例中的技术特征可以相互组合。
流式计算为近年兴起的一种新的数据处理方式，数据处理逻辑上包含三个部分：
Source(输入)－>Operator(处理)－>Sink(输出)
在实际应用场景中逻辑要复杂很多，比如Source可能不止一个、Operator内部又可以细分为多个子Operator、而且处理完成的结果数据可能要输出给多个目标地，具体取决于具体的应用场景。
因此可以理解，在一个完整的应用解决方案中，如果把所有的Source、Operator、Sink节点用有向的线条连接起来，就像一个复杂水流图。参见图1，为流式计算系统示意图。流式计算可以看成是一个个算子(节点)和一条条数据流(边)组成的数据流图。
如前面描述的，一个典型的流式计算场景由一组“Source－>Operator－>Sink(输出)”的有向图构成，也通常称为一个Pipeline(Pipeline可称为：执行任务或作业)，而本说明书实施例所实现的是“多级流式计算”，具体指：将一个原本完整的流式计算Pipeline，拆分成多个子Pipeline(基于原子操作进行拆分)，且从数据流向的视角看，前一个Pipeline的Sink与后一个Pipeline的Source对接。
例如，参考图2，Pipeline A的输出数据将作为Pipeline B1、B2、B3的数据流入来源。本说明书实施例中，存在多个具有级别关系的Pipeline，前级Pipeline中的输出可以看作是后级Pipeline的生产者。生产者：本说明书实施例中特指提供数据的一方，并具备将一定时间范围内的数据缓存存储的能力，其对外提供的数据可以是自身原发性产生或来源于其他生产者。与生产者相对应的是消费者。消费者：本说明书实施例中是指通过主动拉取、被动侦听等方式获取并处理数据的一方。对于“生产者”可以简单理解为Source提供原始数据的角色(通常是数据处理的需求方)，而在“多级流式计算”场景中，处在前面的Pipeline，为后续Pipeline提供数据，所以称其为“二级生产者”。对于“消费者”实际这里特指每个Pipeline的Source节点，即用来对接生产者数据的一方。
本发明实施例中，将原本一个完整的pipeline拆分成多级pipeline，下面分析原因及拆分过程。
如前面提到，一个pipeline的Source节点可以是多个，也就是说，可以在一个pipeline中处理多个“生产者”的数据。理论上只需要一个pipeline，然后通过不断增加Source的数量，来处理所有“生产者”的数据。但是实际场景(尤其是针对复杂、海量数据的处理)中，会遇到很多问题，比较突出的是性能问题：由于不同Source处理数据的速度可能不一样，那么处理速度慢的Source节点会拖累整个pipeline的处理效率，也就说存在资源竞争问题。对于有些高优先级或需要紧急处理的数据场景而言，这是不可接受的。因此必须做拆分处理，以期望将特征不同、优先级不同的数据场景分割来处理。
如果简单的将原本一个pipeline拆分成并行的多个子pipeline，然后每个子pipeline只处理特定的数据，简单的场景是可以这么做的。但是如果原先的pipeline中，存在一个所有数据都依赖的operator节点，且这个operator节点需要保证所有数据处理过程都必须严格遵守特定的处理顺序(由具体的需求场景决定)，那么这种简单的并行拆分方法就不可行了，因为这个特殊的operator节点一旦被拆分，顺序将无法保证，也即这个operator是具有原子性的，无法再拆分。
原子操作：本说明书实施例中是指一个或多个处理步骤，一点开始执行这一个或多个处理步骤，其顺序不可以被打乱，也不可以被切割，直到所有步骤处理完成。
一个pipeline内部，数据处理是共享同一个资源池的，因此会存在资源竞争情况，将一个pipeline拆分成多pipeline就为了避免竞争。本说明书实施例中，将原本一个pipeline拆分成多级pipeline，拆分原则是：将具有原子性的operator放入单一的pipeline，将其他operator仍然拆分到多个pipeline中，这样拆分后的pipeline之间就不是简单的并行关系了，而是存在前后依赖关系的多级pipeline。两级pipeline原理示意图如图3所示。
第一方面，本说明书实施例提供一种基于流式计算的数据处理控制方法，数据处理包括至少一级任务流，每级任务流中包括对应不同执行任务的原子阶段和处理阶段，请参考图4，包括：
S401：在原子阶段时，在第一执行任务中执行如下操作：接收源数据，并对源数据执行原子操作；将执行了原子操作的数据流转到处理阶段；
S402：在处理阶段时，在多个第二执行任务中，执行如下操作：接收来自原子阶段的数据；将接收到的数据分配到各个第二执行任务中，由多个第二执行任务对数据进行并行处理。
本说明书实施例中，每级任务流都由一个原子阶段和一个处理阶段构成。一级任务流(两阶段)仅是其中最简单的一种实施场景，实际应用可以是多级的，多级任务的拆分方法就是将两阶段的重复下去，实现原理及方法类似。可见，本说明书实施例中，将一个原本复杂的pipeline拆分成多个原子阶段、处理阶段，实际可以很复杂，例如：“原子阶段1－处理阶段1－原子阶段2－处理阶段2－原子阶段3－处理阶段3…”。其中：原子阶段1、处理阶段1构成第1级任务流；原子阶段2、处理阶段2构成第2级任务流；原子阶段3、处理阶段3构成第3级任务流……。
其中：原子操作是指操作中的一个或多个处理步骤顺序固定且处理步骤不可被切割。在实际情况中，根据流式计算的应用场景确定原子操作，并将原子操作部署在第一执行任务的操作节点(也即由第一执行任务完成原子操作)。
如前所述的一个执行任务(Pipeline)由Source、Operator、Sink完成。因此，在一种可选方式中，执行任务包括输入节点、操作节点和输出节点；并且通过一下步骤实现在第一执行任务中执行所述原子阶段包括：由第一执行任务的输入节点接收源数据；在第一执行任务的操作节点对源数据执行原子操作；由输出节点将执行了原子操作的数据提供给处理阶段。
相应的，多个第二执行任务中执行处理阶段的过程包括：由每个第二执行任务的输入节点接收经过原子操作的数据的一部分；在每个第二执行任务的操作节点对本执行任务内的一部分数据进行处理；由每个第二执行任务的输出节点得到处理后的数据。
如前分析的，一个pipeline内部，数据处理是共享同一个资源池的，因此会存在资源竞争情况，将一个pipeline拆分成多pipeline就为了避免竞争。因此，将接收到的数据分配到各个第二执行任务中的方式可以是：按照数据处理所需要使用的资源池分配数据，使得各个第二执行任务的操作节点使用不同的资源池。
参见图5，为本说明书实施例第一方面提供的基于流式计算的数据处理控制方法中原子阶段与处理阶段关系示意图。
将每级数据流的数据处理拆分成两个阶段：原子阶段(阶段一)和处理阶段(阶段二)，且两个阶段在不同的执行任务内运行。
1、阶段一步骤：
(1.1)接收数据源数据，并执行原子操作；
(1.2)将数据流转到二级生产者；
2、阶段二步骤：
(2.1)二级消费者接收来自阶段一生产者的数据；
(2.2)将后续数据处理过程分组(确保同一组内的多个数据处理过程之间不会产生资源竞争)；并将各组的处理过程以组为单位加入到不同的执行任务内运行。
可见在图5实例中：在执行任务B中实现阶段一的原子操作；在执行任务1、执行任务2、…、，执行任务n中并行完成非原子操作的数据处理过程。即：将原本一个执行任务(例如执行任务A)，根据数据处理原子性拆分成了多个执行任务：原子性的执行任务B，以及非原子性的执行任务1、2、…n。
可见，本说明书实施例中，根据数据处理的原子性对每级任务流处理过程划分为两个阶段，并且两个阶段在不同的执行任务内运行，由此，在保证了原子操作的前提下，各个执行任务使用不同的资源池，因此，可有效解决多个数据处理过程之间内在的资源竞争、冲突问题；而且，在保证数据处理预期不变的前提下，将原本一个大的、单一的执行任务，拆分为多个执行任务，可有效降低整体任务的复杂度。
第二方面，基于同一发明构思，本说明书实施例提供一种基于流式计算的数据处理控制装置，数据处理包括至少一级任务流，每级任务流中包括对应不同执行任务的原子阶段和处理阶段；请参考图6，包括：
原子阶段控制单元601，用于在原子阶段，在第一执行任务中：接收源数据，并对所述源数据执行原子操作；将执行了原子操作的数据流转到所述处理阶段；
处理阶段控制单元602，用于在处理阶段，在多个第二执行任务中：接收来自所述原子阶段的数据；将接收到的数据分配到各个第二执行任务中，由所述多个第二执行任务对数据进行并行处理。
在一种可选方式中，所述执行任务包括输入节点、操作节点和输出节点；
所述原子阶段控制单元601具体用于：由所述第一执行任务的输入节点接收源数据；在所述第一执行任务的操作节点对所述源数据执行原子操作；由所述输出节点将执行了原子操作的数据提供给所述处理阶段。
在一种可选方式中，所述处理阶段控制单元602具体用于：由每个第二执行任务的输入节点接收经过原子操作的数据的一部分；在每个第二执行任务的操作节点对本执行任务内的一部分数据进行处理；由每个第二执行任务的输出节点得到处理后的数据。
在一种可选方式中，所述处理阶段控制单元602具体还用于：按照数据处理所需要使用的资源池分配数据，使得各个第二执行任务的操作节点使用不同的资源池。
在一种可选方式中，所述原子操作是指操作中的一个或多个处理步骤顺序固定且处理步骤不可被切割的操作；其中：根据所述流式计算的应用场景确定所述原子操作，并将所述原子操作部署在所述第一执行任务的操作节点。
第三方面，基于与前述实施例中基于流式计算的数据处理控制方法同样的发明构思，本发明还提供一种服务器，如图7所示，包括存储器704、处理器702及存储在存储器704上并可在处理器702上运行的计算机程序，所述处理器702执行所述程序时实现前文所述基于流式计算的数据处理控制方法的任一方法的步骤。
其中，在图7中，总线架构(用总线700来代表)，总线700可以包括任意数量的互联的总线和桥，总线700将包括由处理器702代表的一个或多个处理器和存储器704代表的存储器的各种电路链接在一起。总线700还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口706在总线700和接收器701和发送器703之间提供接口。接收器701和发送器703可以是同一个元件，即收发机，提供用于在传输介质上与各种其他装置通信的单元。处理器702负责管理总线700和通常的处理，而存储器704可以被用于存储处理器702在执行操作时所使用的数据。
第四方面，基于与前述实施例中基于流式计算的数据处理控制方法的发明构思，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前文所述基于流式计算的数据处理控制方法的任一方法的步骤。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的设备。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令设备的制造品，该指令设备实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本说明书的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本说明书范围的所有变更和修改。
显然，本领域的技术人员可以对本说明书进行各种改动和变型而不脱离本说明书的精神和范围。这样，倘若本说明书的这些修改和变型属于本说明书权利要求及其等同技术的范围之内，则本说明书也意图包含这些改动和变型在内。

Claims (12)

1.一种基于流式计算的数据处理控制方法，所述数据处理包括至少一级任务流，每级任务流中包括对应不同执行任务的原子阶段和处理阶段；其中：
在所述原子阶段时，在第一执行任务中，执行如下操作：接收源数据，并对所述源数据执行原子操作；将执行了原子操作的数据流转到所述处理阶段；其中，所述原子操作是指操作中的一个或多个处理步骤顺序固定且处理步骤不可被切割的操作；
在所述处理阶段时，在多个第二执行任务中，执行如下操作：接收来自所述原子阶段的数据；将接收到的数据分配到各个第二执行任务中，由所述多个第二执行任务对数据进行并行处理。
2.根据权利要求1所述的方法，所述执行任务包括输入节点、操作节点和输出节点；
所述原子阶段的操作包括：由所述第一执行任务的输入节点接收源数据；在所述第一执行任务的操作节点对所述源数据执行原子操作；由所述输出节点将执行了原子操作的数据提供给所述处理阶段。
3.根据权利要求2所述的方法，所述处理阶段的操作包括：由每个第二执行任务的输入节点接收经过原子操作的数据的一部分；在每个第二执行任务的操作节点对本执行任务内的一部分数据进行处理；由每个第二执行任务的输出节点得到处理后的数据。
4.根据权利要求3所述的方法，所述将接收到的数据分配到各个第二执行任务中，包括：
按照数据处理所需要使用的资源池分配数据，使得各个第二执行任务的操作节点使用不同的资源池。
5.根据权利要求2-4任一项所述的方法，根据所述流式计算的应用场景确定所述原子操作，并将所述原子操作部署在所述第一执行任务的操作节点。
6.一种基于流式计算的数据处理控制装置，所述数据处理包括至少一级任务流，每级任务流中包括对应不同执行任务的原子阶段和处理阶段其中：
原子阶段控制单元，用于在所述原子阶段时，在第一执行任务中：接收源数据，并对所述源数据执行原子操作；将执行了原子操作的数据流转到所述处理阶段；其中，所述原子操作是指操作中的一个或多个处理步骤顺序固定且处理步骤不可被切割的操作；
处理阶段控制单元，用于在所述处理阶段时，在多个第二执行任务中：接收来自所述原子阶段的数据；将接收到的数据分配到各个第二执行任务中，由所述多个第二执行任务对数据进行并行处理。
7.根据权利要求6所述的装置，所述执行任务包括输入节点、操作节点和输出节点；
所述原子阶段控制单元具体用于：由所述第一执行任务的输入节点接收源数据；在所述第一执行任务的操作节点对所述源数据执行原子操作；由所述输出节点将执行了原子操作的数据提供给所述处理阶段。
8.根据权利要求7所述的装置，所述处理阶段控制单元具体用于：由每个第二执行任务的输入节点接收经过原子操作的数据的一部分；在每个第二执行任务的操作节点对本执行任务内的一部分数据进行处理；由每个第二执行任务的输出节点得到处理后的数据。
9.根据权利要求8所述的装置，所述处理阶段控制单元具体还用于：按照数据处理所需要使用的资源池分配数据，使得各个第二执行任务的操作节点使用不同的资源池。
10.根据权利要求7-9任一项所述的装置，其中：根据所述流式计算的应用场景确定所述原子操作，并将所述原子操作部署在所述第一执行任务的操作节点。
11.一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1-5任一项所述方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-5任一项所述方法的步骤。
CN201810079055.4A 2018-01-26 2018-01-26 基于流式计算的数据处理控制方法、装置、服务器及介质 Active CN108182281B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810079055.4A CN108182281B (zh) 2018-01-26 2018-01-26 基于流式计算的数据处理控制方法、装置、服务器及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810079055.4A CN108182281B (zh) 2018-01-26 2018-01-26 基于流式计算的数据处理控制方法、装置、服务器及介质

Publications (2)

Publication Number Publication Date
CN108182281A CN108182281A (zh) 2018-06-19
CN108182281B true CN108182281B (zh) 2022-02-01

Family

ID=62551544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810079055.4A Active CN108182281B (zh) 2018-01-26 2018-01-26 基于流式计算的数据处理控制方法、装置、服务器及介质

Country Status (1)

Country Link
CN (1) CN108182281B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111788562A (zh) * 2018-07-11 2020-10-16 华为技术有限公司 原子操作的执行方法及装置
CN109615456B (zh) * 2018-10-31 2022-03-18 创新先进技术有限公司 在途订单信息统计方法及装置
US11461135B2 (en) 2019-10-25 2022-10-04 International Business Machines Corporation Dynamically modifying the parallelism of a task in a pipeline
CN113641693B (zh) * 2021-08-20 2022-05-24 北京百度网讯科技有限公司 流式计算系统的数据处理方法及装置、电子设备和介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6327584B1 (en) * 1999-07-30 2001-12-04 Hewlett-Packard Company Apparatus and method for using version control to dynamically update files while the files are available for access
CN101957863A (zh) * 2010-10-14 2011-01-26 广州从兴电子开发有限公司 数据并行处理方法、装置及系统
CN101981575A (zh) * 2008-06-03 2011-02-23 图形科技公司 利用多事务技术复制面向对象环境中的对象的方法和装置
CN102999323A (zh) * 2011-09-16 2013-03-27 北京百度网讯科技有限公司 一种生成目标代码的方法、数据处理的方法及装置
CN103699425A (zh) * 2013-09-26 2014-04-02 武汉中地数码科技有限公司 一种基于云计算的软件t/c/v架构及其云计算方法
CN106657365A (zh) * 2016-12-30 2017-05-10 清华大学 一种基于rdma的高并发数据传输方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6327584B1 (en) * 1999-07-30 2001-12-04 Hewlett-Packard Company Apparatus and method for using version control to dynamically update files while the files are available for access
CN101981575A (zh) * 2008-06-03 2011-02-23 图形科技公司 利用多事务技术复制面向对象环境中的对象的方法和装置
CN101957863A (zh) * 2010-10-14 2011-01-26 广州从兴电子开发有限公司 数据并行处理方法、装置及系统
CN102999323A (zh) * 2011-09-16 2013-03-27 北京百度网讯科技有限公司 一种生成目标代码的方法、数据处理的方法及装置
CN103699425A (zh) * 2013-09-26 2014-04-02 武汉中地数码科技有限公司 一种基于云计算的软件t/c/v架构及其云计算方法
CN106657365A (zh) * 2016-12-30 2017-05-10 清华大学 一种基于rdma的高并发数据传输方法

Also Published As

Publication number Publication date
CN108182281A (zh) 2018-06-19

Similar Documents

Publication Publication Date Title
CN108182281B (zh) 基于流式计算的数据处理控制方法、装置、服务器及介质
CN110908788B (zh) 基于Spark Streaming的数据处理方法、装置、计算机设备及存储介质
US9313134B2 (en) Leveraging hardware accelerators for scalable distributed stream processing in a network environment
CN112148455B (zh) 一种任务处理方法、设备及介质
US9497288B2 (en) Subscriber based priority of messages in a publisher-subscriber domain
US11144366B2 (en) Computing node processor resource optimization method, computing node and server cluster
US20140115046A1 (en) Stream processing using a client-server architecture
US9400767B2 (en) Subgraph-based distributed graph processing
CN112884086B (zh) 模型训练方法、装置、设备、存储介质以及程序产品
US10762616B2 (en) Method and system of analytics system balancing lead time and accuracy of edge analytics modules
EP3779804A1 (en) Chip and chip-based data processing method
CN110569312A (zh) 一种基于gpu的大数据快速检索系统及其使用方法
US9753769B2 (en) Apparatus and method for sharing function logic between functional units, and reconfigurable processor thereof
US10789183B2 (en) Aggregation handling
Kim Challenges and future directions of cyber-physical system software
US20220036206A1 (en) Containerized distributed rules engine
US10033781B2 (en) Streaming data on data processes
CN113760498A (zh) 消息消费方法、装置、电子设备和计算机可读介质
US20200280597A1 (en) Transmitting data over a network in representational state transfer (rest) applications
EP4086753A1 (en) Decision scheduling customization method and device based on information flow
CN114741173A (zh) Dag任务编排的方法、装置、电子设备和存储介质
Shah et al. Multi-GPU approach for development of parallel and scalable pub-sub system
US8856792B2 (en) Cancelable and faultable dataflow nodes
CN117271424A (zh) 基于多模融合计算框架的处理装置和处理方法
CN114331711A (zh) 一种基于关联语义的区块链交易并行执行方法与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1255515

Country of ref document: HK

TA01 Transfer of patent application right

Effective date of registration: 20200925

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20200925

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant