CN102904919B - 流处理方法和实现流处理的分布式系统 - Google Patents

Abstract

本发明涉及流处理方法和实现流处理的分布式系统。本发明公开一种用于分布式系统的流处理方法，该分布式系统包括分配器和多个计算节点，该方法包括：响应于接收到分配器分配的数据块，所述计算节点调用对应的计算逻辑对所述数据块进行计算并产生计算结果；以及所述计算节点仅将与下一个数据块计算相关的部分所述计算结果传送给下一个数据块所在的计算节点。

Description

流处理方法和实现流处理的分布式系统

技术领域

本发明涉及流处理，特别涉及用于分布式系统的流处理方法和实现流处理的分布式系统。

背景技术

流处理技术广泛应用在各种领域的实时处理系统中，处理在逻辑上和/或时间上关联的连续发生的事件组成的序列，例如股票证券交易中心、网络监视、Web应用、通信数据管理，这类应用的共同特点是：数据实时性强、数据量极大、具有相当高的突发性、连续发生并不断变化。流处理技术需要实时监测连续的数据流，在数据不断变化的过程中实时地进行数据分析，捕捉到可能对用户有用的信息，对紧急情况快速响应，实时处理。

目前，流处理技术主要采用分布式的计算方式，在多个计算节点上预先分配好计算逻辑，将数据流划分为多个数据块，按照计算逻辑的顺序在多个计算节点上完成对数据块的逻辑计算，通常下一个数据块的处理需要依赖于前一个数据块的处理结果，因此需要在计算节点之间进行大量的数据传输，有统计数据表明，数据流每秒钟传输500K-1M个消息，而每个消息大约1KB，因此每秒钟传输1GB，而且数据流的传输速率还在以每3年40％的速度增长。因此在网络带宽有限的情况下，在计算节点之间频繁进行数据传输不可避免地会造成网络拥堵、交易延迟。

因此需要一种高效的、节省网络带宽资源的流处理方法。

发明内容

基于上述问题，本发明提供一种高效的流处理方法和实现流处理的分布式系统。

根据本发明的第一方面，提供一种用于分布式系统的流处理方法，该分布式系统包括分配器和多个计算节点，该方法包括：响应于接收到分配器分配的数据块，所述计算节点调用对应的计算逻辑对所述数据块进行计算并产生计算结果；以及所述计算节点仅将与下一个数据块计算相关的部分所述计算结果传送给下一个数据块所在的计算节点。

根据本发明的第二方面，提供一种进行流处理的分布式系统，该分布式系统包括：分配器；多个计算节点，被配置为响应于接收到分配器分配的数据块，调用对应的计算逻辑对所述数据块进行计算并产生计算结果；以及仅将与下一个数据块计算相关的部分所述计算结果传送给下一个数据块所在的计算节点。

根据本发明的实施例的流处理方法和分布式系统，减小了在计算节点之间进行传输的大量数据，节省网络带宽资源。

附图说明

结合附图，通过参考下列详细的示例性实施例的描述，将会更好地理解本发明本身、优选的实施方式以及本发明的目的和优点，其中：

图1示出根据本发明的实施例用于分布式系统的流处理方法；

图2示出根据本发明的实施例用于流处理的分布式系统；

图3示出根据本发明的实施例用于流处理的分布式系统；

图4示出根据本发明的实施例用于流处理的分布式系统；以及

图5示意性示出了实现根据本发明的实施例的计算设备的结构方框图。

具体实施方式

以下结合附图描述根据本发明实施例基于通信消息管理工作任务的方法和系统，将会更好地理解本发明的目的和优点。

本发明的核心思想：对于数据计算存在依赖关系的流处理的应用，为了避免在计算节点之间进行大量的数据传输，只将下一个数据块计算所依赖的前一个数据块的计算结果在计算节点之间进行传输，而将每个数据块完成流处理所需的多个计算步骤在单个计算节点上完成，在多个计算节点上实现并行的流处理方法，这样从计算节点本地的内存和处理器缓存中就可以获得实现流处理各个的计算步骤所需的大量数据。

图1示出根据本发明的实施例用于分布式系统的流处理方法，该分布式系统包括分配器和多个计算节点，该方法包括：在步骤S101，响应于接收到分配器分配的数据块，所述计算节点调用对应的计算逻辑对所述数据块进行计算并产生计算结果；在步骤S102，所述计算节点仅将与下一个数据块计算相关的部分所述计算结果传送给下一个数据块所在的计算节点。

图2示出根据本发明的实施例进行流处理的分布式系统，该分布式系统包括分配器和多个计算节点P₁，P₂，P₃...P_n，分配器与多个计算节点物理上可以处于不同的地理位置，也可以位于同一地理位置的数据中心。分配器作为数据流与计算节点的接口，负责数据流的接收以及各个计算节点的流量监控。分配器将接收到的数据流划分为一个个的数据块d₁，d₂，d₃.....d_n，再向可用的计算节点进行分配。

在步骤S101，响应于接收到分配器分配的数据块，所述计算节点调用对应的计算逻辑对所述数据块进行计算并产生计算结果。根据本发明的一个实施例，在步骤S101之前进一步包括响应于确定所述计算节点可用，所述计算节点向所述分配器请求分配数据块。具体地，可以由计算节点来查询本地存储空间使用状况和处理器使用率，并预先设置存储空间大小和处理器使用率的阈值，通过将本地可用的存储空间大小与阈值进行比较判断本地存储空间是否充足，以及将处理器使用率与阈值进行比较判断处理器是否繁忙，如果根据判断结果确定计算节点有充足的存储空间并且处理器可用，则请求分配器分配数据。根据本发明的另一个实施例，可以由分配器来确定计算节点是否可用，即可以由各个计算节点向分配器报告存储空间使用状况和处理器使用率，也可以由分配器定期查询所有计算节点的存储空间使用状况和处理器使用率，在分配器处预先设置存储空间大小和处理器使用率的阈值，然后分配器通过将计算节点的可用存储空间大小和处理器使用率与阈值进行比较来判断计算节点是否可用，并且如果确定计算节点可用，则向具有充足存储空间的计算节点顺序分配数据块。

响应于接收到分配器分配的数据块，所述计算节点调用对应的计算逻辑对所述数据块进行计算并产生计算结果。在流处理过程中，按照计算步骤的执行顺序划分成多个计算逻辑C₁，C₂，C₃....C_n，对于计算节点接收到的同一个数据块而言，需要按照流处理计算步骤的执行顺序进行全部逻辑计算，而前后计算逻辑具有依赖关系，后一个计算逻辑是基于前一个计算逻辑的结果进行的。而对于相邻的数据块而言，下一个数据块进行逻辑计算需要依赖于前一个数据块的计算结果。

根据本发明的实施例，进一步包括所述计算节点预先存储有多个计算逻辑，在计算节点上按照流处理计算步骤的执行顺序调用相应的计算逻辑对数据块进行计算并产生计算结果。首先对于刚从分配器接收的数据块，由于还没有进行任何计算步骤，因此调用初始计算逻辑对数据块进行计算并产生计算结果，接着按照流处理计算步骤的执行顺序调用其余的计算逻辑对数据进行计算。

根据本发明的另一实施例，其中所述计算逻辑是由所述分配器分配的。所述计算节点进一步包括：记录所述数据块的状态；响应于检测到所述数据块的状态改变，所述计算节点通知所述分配器所述数据块的当前状态；分配器根据所述数据块的当前状态向所述计算节点分配相应的计算逻辑。具体地，由各个计算节点记录数据块的状态，数据块的状态包括数据块当前所处的计算步骤，例如可以通过设置标记位来记录数据块的状态，在对数据块完成某个计算逻辑时，数据块的状态发生改变，响应于检测到数据块的状态改变，计算节点通知分配器数据块的当前状态，分配器根据数据块的当前状态向计算节点分配相应的计算逻辑，计算节点接收到分配的计算逻辑，对数据块应用计算逻辑进行计算，通过分配器分配计算逻辑，从而在计算节点上实现对一个数据块的全部计算逻辑。

每个数据块都需要完成流处理所需的多个计算步骤，通常下一个计算步骤的输入不仅需要前一个计算步骤的计算结果，还需要前一个计算步骤的输入，例如视频流的加密处理，因此将需要大量数据传输的多个计算逻辑在一个计算节点上实现，这样从本地计算节点的内存和处理器缓存中就能获得前一个计算步骤的结果和所需的数据，下一个计算步骤的计算逻辑可以直接对这些数据进行处理，从而避免了在计算节点之间频繁地进行数据传输。

在步骤S102，所述计算节点仅将与下一个数据块计算相关的部分所述计算结果传送给下一个数据块所在的计算节点。在流处理中，对于数据块的计算存在依赖关系的应用，下一个数据块计算与前一个数据块的部分计算结果相关，因此当前计算节点需要将与下一个数据块计算相关的部分所述计算结果传送给下一个数据块所在的计算节点。由此在计算节点之间实现轻量级的数据传输，避免了大数据量的数据传输。

结合图3所示的流处理的分布式系统描述本发明的一个实施例，多个计算节点P₁，P₂，P₃...P_n预先存储有多个计算逻辑C₁，C₂，C₃.....C_n，分配器接收到数据流，将数据流划分为多个数据块d₁，d₂，d₃.....，在确定计算节点P₁、P₂和P₃可用，向计算节点P₁分配数据块d₁，向计算节点P₂分配数据块d₂，以及向计算节点P₃分配数据块d₃。为说明方便，假设多个计算逻辑C₁，C₂，C₃.....C_n的处理时间大致相同，在此划分为多个时间段进行描述。

首先，在第一个时间段T₁，计算节点P₁按照计算步骤的顺序首先调用计算逻辑C₁对数据块d₁进行计算，产生计算结果R₁，将与数据块d₂的计算有关的部分计算结果R₁’传送给计算节点P₂。

接着，在第二个时间段T₂，计算节点P₂按照计算步骤的顺序调用计算逻辑C₁对数据块d₂和R₁’进行计算，产生计算结果S₁，并将与数据块d₃的计算有关的S₁的部分计算结果S₁’传送给计算节点P₃。与此同时，计算节点P₁按照计算步骤的顺序调用计算逻辑C₂对计算节点P₁上的数据块d₁’进行计算，其中d₁’包含d₁和R₁，产生计算结果R₂，将与计算节点P₂上的数据块d₂’的计算有关的部分计算结果R₂’传送给计算节点P₂。

在第三个时间段T₃，计算节点P₃接收到计算节点C₂发送的部分计算结果R₂’，按照计算步骤的顺序调用计算逻辑C₁对数据块d₃和S₁’进行计算，产生计算结果V₁，将与数据块d₄的计算有关的部分计算结果V₁’传送给数据块d₄所在的计算节点。与此同时，计算节点P₁按照计算步骤的顺序调用计算逻辑C₃对数据块d₁”进行计算，产生计算结果R₃，将与数据块d₂的计算有关的部分计算结果R₃’传送给计算节点P₂。计算节点P₂按照计算步骤的顺序调用计算逻辑C₂对数据块d₂’和R₃’进行计算，产生计算结果S₂，并将与数据块d₃的计算有关的部分计算结果S₂’传送给计算节点P₃。在每个计算节点上按照计算步骤完成对分配的数据块进行流处理所需的全部计算逻辑，之后删除该计算节点对分配的数据块进行流处理产生的全部数据，清空存储空间，等待分配器分配下一个数据块。

结合图4所示的流处理分布式系统描述本发明的一个实施例，分配器接收到数据流，将数据流划分为多个数据块d₁，d₂，d₃.....，在确定计算节点P₁、P₂和P₃可用，向计算节点P₁分配数据块d₁，向计算节点P₂分配数据块d₂，以及向计算节点P₃分配数据块d₃，为说明方便，假设多个计算逻辑C₁，C₂，C₃.....C_n的处理时间大致相同，在此划分为多个时间段进行描述。

首先，在第一个时间段T₁，计算节点P₁、P₂和P₃分别设置状态标志位来记录数据块块d₁，d₂，d₃的状态为初始状态，由于分配器确切知道此时数据块d₁，d₂，d₃处于初始状态，因此向计算节点P₁、P₂和P₃分别分配计算逻辑C₁，计算节点P₁调用计算逻辑C₁对数据块d₁进行计算，产生计算结果R₁，将与数据块d₂的计算有关的部分计算结果R₁’传送给计算节点P₂，此时响应于检测到完成计算逻辑C₁，计算节点P₁将状态标志位修改为完成计算逻辑C₁，并通知分配器器数据块d₁的当前状态，分配器根据数据块d₁的当前状态向计算节点P₁分配计算逻辑C₂。

在第二个时间段T₂，计算节点P₂调用计算逻辑C₁对数据块d₂和R₁’进行计算，产生计算结果S₁，并将与数据块d₃的计算有关的S₁的部分计算结果S₁’传送给计算节点P₃，此时响应于检测到数据块d₂完成计算逻辑C₁，计算节点P₂将状态标志位修改为数据块d₂完成计算逻辑C₁，并通知分配器数据块d₂的当前状态，分配器根据数据块d₂的当前状态向计算节点P₂分配计算逻辑C₂。与此同时，计算节点P₁调用计算逻辑C₂对计算节点P₁上的数据块d₁’进行计算，其中d₁’包含d₁和R₁，产生计算结果R₂，将与计算节点P₂上的数据块d₂’的计算有关的部分计算结果R₂’传送给计算节点P₂。此时响应于检测到完成计算逻辑C₂，计算节点P₁将状态标志位修改为完成计算逻辑C₂，并通知分配器器数据块d₁’的当前状态，分配器根据数据块d₁’的当前状态向计算节点P₁分配计算逻辑C₃。

在第三个时间段T₃，计算节点P₃接收到计算节点P₂发送的部分计算结果R₂’，调用计算逻辑C₁对数据块d₃和S₁’进行计算，产生计算结果V₁，将与数据块d₄的计算有关的部分计算结果V₁’传送给数据块d₄所在的计算节点。此时响应于检测到数据块d₃完成计算逻辑C₁，计算节点P₃将状态标志位修改为数据块d₃完成计算逻辑C₃，并通知分配器数据块d₃的当前状态，分配器根据数据块d₃的当前状态向计算节点P₃分配计算逻辑C₂。与此同时，计算节点P₁调用计算逻辑C₃对计算节点P₁上的数据块d₁”进行计算，其中d₁”包含d₁’和R₂，产生计算结果R₃，将与计算节点P₂上的数据块d₂’的计算有关的部分计算结果R₃’传送给计算节点P₂。此时响应于检测到数据块d₁”完成计算逻辑C₃，计算节点P₁将状态标志位修改为数据块d₁”完成计算逻辑C₂，并通知分配器器数据块d₁”的当前状态，分配器根据数据块d₁”的当前状态向计算节点P₁分配计算逻辑C₄。计算节点P₂调用计算逻辑C₂对数据块d₂’和R₁’进行计算，产生计算结果S₂，并将与数据块d₃的计算有关的部分计算结果S₂’传送给计算节点P₃，此时响应于检测到数据块d₂’完成计算逻辑C₂，计算节点P₂将状态标志位修改为数据块d₂’完成计算逻辑C₂，并通知分配器数据块d₂’的当前状态，分配器根据数据块d₂’的当前状态向计算节点P₂分配计算逻辑C₃。在每个计算节点上完成对分配的数据块进行流处理所需的全部计算逻辑，之后删除该计算节点对分配的数据块进行流处理产生的全部数据，清空存储空间，等待分配器分配下一个数据块。

基于同一发明构思，本发明提出一种进行流处理的分布式系统，图2示出根据本发明的实施例的用于流处理的分布式系统，该分布式系统包括：分配器；多个计算节点，被配置为响应于接收到分配器分配的数据块，调用对应的计算逻辑对所述数据块进行计算并产生计算结果；以及仅将与下一个数据块计算相关的部分所述计算结果传送给下一个数据块所在的计算节点。

根据本发明的实施例，其中所述计算节点进一步被配置为预先存储多个计算逻辑，其中所述计算节点进一步被配置为：所述计算节点按照流处理计算步骤的顺序调用对应的计算逻辑对所述数据块进行计算并产生计算结果。

根据本发明的实施例，其中所述计算逻辑是由所述分配器分配的。其中所述计算节点进一步被配置为：所述计算节点记录所述数据块的状态；响应于检测到所述数据块的状态改变，所述计算节点通知所述分配器所述数据块的当前状态；分配器根据所述数据块的当前状态向所述计算节点分配相应的计算逻辑。

根据本发明的实施例，其中所述计算节点进一步被配置为响应于确定所述计算节点可用，向所述分配器请求分配数据块。

图5则示意性示出了可以实现根据本发明的实施例的计算设备的结构方框图。图5中所示的计算机系统包括CPU(中央处理单元)501、RAM(随机存取存储器)502、ROM(只读存储器)503、系统总线504，硬盘控制器505、键盘控制器506、串行接口控制器507、并行接口控制器508、显示器控制器509、硬盘510、键盘511、串行外部设备512、并行外部设备513和显示器514。在这些部件中，与系统总线504相连的有CPU 501、RAM 502、ROM 503、硬盘控制器505、键盘控制器506，串行接口控制器507，并行接口控制器508和显示器控制器509。硬盘510与硬盘控制器505相连，键盘511与键盘控制器506相连，串行外部设备512与串行接口控制器507相连，并行外部设备513与并行接口控制器508相连，以及显示器514与显示器控制器509相连。

图5中每个部件的功能在本技术领域内都是众所周知的，并且图5所示的结构也是常规的。这种结构不仅用于个人计算机，而且用于手持设备，如Palm PC、PDA(个人数据助理)、移动电话等等。在不同的应用中，例如用于实现包含有根据本发明的客户端模块的用户终端或者包含有根据本发明的网络应用服务器的服务器主机时，可以向图5中所示的结构添加某些部件，或者图5中的某些部件可以被省略。图5中所示的整个系统由通常作为软件存储在硬盘510中、或者存储在EPROM或者其它非易失性存储器中的计算机可读指令控制。软件也可从网络(图中未示出)下载。或者存储在硬盘510中，或者从网络下载的软件可被加载到RAM 502中，并由CPU 501执行，以便完成由软件确定的功能。

尽管图5中描述的计算机系统能够支持根据本发明提供的技术方案，但是该计算机系统只是计算机系统的一个例子。本领域的熟练技术人员可以理解，许多其它计算机系统设计也能实现本发明的实施例。

虽然这里参照附图描述了本发明的示例性实施例，但是应该理解本发明不限于这些精确的实施例，并且在不背离本发明的范围和宗旨的情况下，本领域普通技术人员能对实施例进行各种变化的修改。所有这些变化和修改意欲包含在所附权利要求中限定的本发明的范围中。

应当理解，本发明的至少某些方面可以可替代地以程序产品实现。定义有关本发明的功能的程序可以通过各种信号承载介质被传送到数据存储系统或计算机系统，所述信号承载介质包括但不限于，不可写存储介质(例如，CD-ROM)、可写存储介质(例如，软盘、硬盘驱动器、读/写CD ROM、光介质)以及诸如包括以太网的计算机和电话网络之类的通信介质。因此应当理解，在此类信号承载介质中，当携带或编码有管理本发明中的方法功能的计算机可读指令时，代表本发明的可替代实施例。本发明可以硬件、软件、固件或其组合的方式实现。本发明可以集中的方式在一个计算机系统中实现，或以分布方式实现，在这种分布方式中，不同的部件分布在若干互连的计算机系统中。适于执行本文中描述的方法的任何计算机系统或其它装置都是合适的。优选地，本发明以计算机软件和通用计算机硬件的组合的方式实现，在这种实现方式中，当该计算机程序被加载和执行时，控制该计算机系统而使其执行本发明的方法，或构成本发明的系统。

上面出于举例说明的目的，给出了本发明的优选实施例的说明。优选实施例的上述说明不是穷尽的，也不打算把本发明局限于公开的明确形式，显然鉴于上述教导，许多修改和变化是可能的。对本领域的技术人员来说显而易见的这种修改和变化包括在由附加的权利要求限定的本发明的范围内。

Claims (10)

1.一种用于分布式系统的流处理方法，该分布式系统包括分配器和多个计算节点，该方法包括：

响应于接收到分配器分配的数据块，所述计算节点调用对应的计算逻辑对所述数据块进行计算并产生计算结果；以及

所述计算节点仅将与下一个数据块计算相关的部分所述计算结果传送给下一个数据块所在的计算节点，

进一步包括：

所述计算节点记录所述数据块的状态；

响应于检测到所述数据块的状态改变，所述计算节点通知所述分配器所述数据块的当前状态；

分配器根据所述数据块的当前状态向所述计算节点分配相应的计算逻辑。

2.根据权利要求1所述的流处理方法，进一步包括在所述计算节点预先存储有多个计算逻辑。

3.根据权利要求2所述的流处理方法，其中所述计算节点调用对应的计算逻辑对所述数据块进行计算并产生计算结果包括：

所述计算节点按照流处理计算步骤的顺序调用对应的计算逻辑对所述数据块进行计算并产生计算结果。

4.根据权利要求1所述的流处理方法，其中所述计算逻辑是由所述分配器分配的。

5.根据权利要求1-4中任一项所述的流处理方法，进一步包括：响应于确定所述计算节点可用，所述计算节点向所述分配器请求分配数据块。

6.一种进行流处理的分布式系统，该分布式系统包括：

分配器；

多个计算节点，被配置为响应于接收到分配器分配的数据块，调用对应的计算逻辑对所述数据块进行计算并产生计算结果；以及仅将与下一个数据块计算相关的部分所述计算结果传送给下一个数据块所在的计算节点，

其中所述计算节点进一步被配置为：

所述计算节点记录所述数据块的状态；

响应于检测到所述数据块的状态改变，所述计算节点通知所述分配器所述数据块的当前状态；

分配器根据所述数据块的当前状态向所述计算节点分配相应的计算逻辑。

7.根据权利要求6所述的分布式系统，其中所述计算节点进一步被配置为预先存储有多个计算逻辑。

8.根据权利要求7所述的分布式系统，其中所述计算节点进一步被配置为：

所述计算节点按照流处理计算步骤的顺序调用对应的计算逻辑对所述数据块进行计算并产生计算结果。

9.根据权利要求6所述的分布式系统，其中所述计算逻辑是由所述分配器分配的。

10.根据权利要求6-9中任一项所述的分布式系统，其中所述计算节点进一步被配置为响应于确定所述计算节点可用，向所述分配器请求分配数据块。