CN107016083A - 一种支持处理单元在线切换的流数据处理方法 - Google Patents

Abstract

本发明涉及一种支持处理单元在线切换的流数据处理方案，属于计算机数据处理技术领域。首先对流数据处理业务进行抽象，将处理业务分为处理框架和处理单元，其中处理框架是固定逻辑，处理单元是可变逻辑。其次，对处理单元进行抽象，采用JVM类加载器实现处理单元的加载。对于新增处理单元，在不重新启动系统的条件下，只需要重新加载相应的类文件即可完成处理单元在线切换，保证了流数据处理系统的高可用性。该发明提出了一种有效的流数据处理单元在线切换的方案，方法简单直观、可靠有效、便于使用。

Description

一种支持处理单元在线切换的流数据处理方法

技术领域

本发明涉及一种支持处理单元在线切换的流数据处理方法，属于计算机数据处理技术领域。

背景技术

近年来，随着工业物联网、气象信息网等技术的发展，人们需要处理的流数据量呈现出爆炸式的增长，数据成为了当今社会增长最快的资源之一。如何存储、处理、分析、应用大数据成为政府、学术界、产业界界共同关注的重大问题。随着数据量的不断增加和对数据处理实时性要求的快速提升，流式计算适应于数据实时性要求高、数据不断流入的场景。面对大数据时效性要求日益突出的应用场景，越来越多的大数据应用趋向于使用流式计算模式。

传统流式计算框架主要以数据库为存储方式，数据规模较小且数据形式单一，而大数据流式处理需要构建高效率、高可靠、低延迟、长期稳定的流式数据处理系统。在诸如气象、能源、工业等关键领域的流式计算使用场景中，往往对系统的可用性要求非常高，不允许处理系统在任何时间出现不能服务的情况；同时，对数据所要进行的处理又不是一成不变的。例如在气象大数据处理过程中，往往面临着新的观测数据类型加入、数据解码算法改变、数据计算和分析算法改变的问题，且这种改变是随着气象业务的升级而经常发生的，是大数据的一种新常态。如何对流数据业务进行抽象，并在此抽象基础上实现对可变逻辑进行动态加载，成为现有流数据处理系统在领域应用中面临的一大挑战。

发明内容

本发明的目的是提出一种支持处理单元在线切换的流数据处理方法，针对已有流数据处理系统中处理框架与处理单元过度耦合、业务改变要求动态改变处理方案的问题，基于对流数据处理系统的流程抽象，首先分离出处理框架和处理单元，其次应用JVM动态加载的机制完成应用算法的动态加载，使系统具有动态应对业务改变的能力，并保持7×24在线服务的高可用性。

本发明方法提出的支持处理单元在线切换的流数据处理方法，包括以下步骤：

(1)建立一个流数据处理的拓扑模型，拓扑模型为一个包括多个起始节点和多个终止节点的有向无环图，将拓扑模型记为二元组<V,E>，其中V为节点集合，E为边集合，节点集合V中的元素节点v_i包括：节点名称n、处理单元p和节点类型g，节点类型定义为源节点g₁和处理节点g₂；处理单元p包括：并发度s、处理逻辑l、输入单元i_d和输出单元o_d，输入单元i_d和输出单元o_d中分别含有流数据最大采集时间长度t_max、流数据描述信息a、流数据类型m和流数据值d四个属性；处理逻辑l包括键值集合KV，键值集合元素KV_i由流数据类型m和数据方法f构成，即KV_i＝<m,f>；边集合E中的元素e_i为由节点集合V中的任意两个相邻节点v_x和v_y构成的元组，即e_i＝<v_x，v_y>，记v_x节点为v_y节点的前驱节点，v_y节点为v_x节点的后继节点，前驱节点v_x在完成逻辑处理后将流数据传输给后继节点v_y；

(2)对上述拓扑模型的节点集合V中的节点类型进行判断，若节点v_i的类型为g₁，则节点v_i根据输入单元i_d的描述信息a中的数据来源信息进行数据采集，若节点v_i的类型为g₂，则节点v_i根据输入单元i_d的描述信息a中的数据监听网络端口信息，等待其他节点的数据到来后进行数据采集；

(3)节点v_i的处理单元p接收采集的数据，根据节点v_i的输入单元i_d中的最大采集时间长度t_max对当前采集数据的时间长度t_current进行判断，若t_current≥t_max，则停止采集数据，进入步骤(4)，若t_current＜t_max，则重复本步骤；

(4)节点v_i的处理单元p的输入单元i_d接收采集的数据，采集数据进入处理单元p中的处理逻辑l，处理逻辑l根据输入单元i_d的流数据类型m，对处理逻辑l的键值集合KV进行检索，若键值集合KV中存在流数据类型m与输入单元i_d的流数据类型m相等的KV_i，则处理逻辑l根据处理单元p的并发度s，调用KV_i中的数据方法f，使用s个线程处理数据，进入步骤(5)，若键值集合KV中不存在流数据类型m与输入单元i_d的流数据类型m相等的KV_i，则返回上述步骤(3)；

(5)经上述步骤(4)处理后的数据流入输出单元o_d，输出单元o_d对边集合E进行检索，若边集合E中存在当前节点v_i的节点名称n与前驱节点v_x的节点名称n相同的e_i，则输出单元o_d将流入的数据传送给该e_i中的后继节点v_y，并返回上述步骤(2)，若边集合E中不存在当前节点v_i的节点名称n与前驱节点v_x的节点名称n相同的e_i，则输出单元o_d将流入的数据输出，得到流数据处理结果，并返回上述步骤(2)。

本发明提出的支持处理单元在线切换的流数据处理方案，其优点是：

1、本发明方法对流数据处理过程进行抽象，将不需要根据业务改变的处理框架和需要根据业务在线切换的处理单元进行分离，具有很强的通用性。

2、本发明可以应用于任何需要业务实时改变的流数据处理场景，具有良好的扩展性。

3、本发明具有不需要重新启动流数据处理系统、无需停止服务，具有7×24高可用的特点。

附图说明

图1是本发明提出的流数据处理的拓扑模型图。

图2是本发明提出的支持处理单元在线切换的流数据处理方法的流程框图。

具体实施方式

本发明提出一种支持处理单元在线切换的流数据处理方法，其流程框图如图2所示，包括以下步骤：

(1)建立一个流数据处理的拓扑模型，拓扑模型为一个包括多个起始节点和多个终止节点的有向无环图，将拓扑模型记为二元组<V,E>，其中V为节点集合，E为边集合，图1所示为拓扑模型的简单示意，图1所有节点组成节点集合V，所有的边，即图中的所有的箭头组成边集合E。拓扑模型用于对流数据处理流程进行描述。拓扑模型遵循流数据处理的业务过程，为按照一定前置约束条件进行数据上下游流转的流程。拓扑模型是流数据处理流程的抽象载体。其中节点集合V中的元素节点v_i包括：节点名称n、处理单元p和节点类型g，节点类型定义为源节点g₁和处理节点g₂；处理单元p包括：并发度s、处理逻辑l、输入单元i_d和输出单元o_d，输入单元i_d和输出单元o_d中分别含有流数据最大采集时间长度t_max、流数据描述信息a、流数据类型m和流数据值d四个属性；处理逻辑l包括键值集合KV，键值集合元素KV_i由流数据类型m和数据方法f构成，即KV_i＝<m,f>；边集合E中的元素e_i为由节点集合V中的任意两个相邻节点v_x和v_y构成的元组，即e_i＝<v_x，v_y>，记v_x节点为v_y节点的前驱节点，v_y节点为v_x节点的后继节点，前驱节点v_x在完成逻辑处理后将流数据传输给后继节点v_y；

(2)对上述拓扑模型的节点集合V中的节点类型进行判断，若节点v_i的类型为g₁，则节点v_i根据输入单元i_d的描述信息a中的数据来源信息进行数据采集，若节点v_i的类型为g₂，则节点v_i根据输入单元i_d的描述信息a中的数据监听网络端口信息，等待其他节点的数据到来后进行数据采集；

(3)节点v_i的处理单元p接收采集的数据，根据节点v_i的输入单元i_d中的最大采集时间长度t_max对当前采集数据的时间长度t_current进行判断，若t_current≥t_max，则停止采集数据，进入步骤(4)，若t_current＜t_max，则重复本步骤；

(4)节点v_i的处理单元p的输入单元i_d接收采集的数据，采集数据进入处理单元p中的处理逻辑l，处理逻辑l根据输入单元i_d的流数据类型m，对处理逻辑l的键值集合KV进行检索，若键值集合KV中存在流数据类型m与输入单元i_d的流数据类型m相等的KV_i，则处理逻辑l根据处理单元p的并发度s，调用KV_i中的数据方法f，使用s个线程处理数据，进入步骤(5)，若键值集合KV中不存在流数据类型m与输入单元i_d的流数据类型m相等的KV_i，则返回上述步骤(3)；本步骤根据输入单元i_d的流数据类型m调用不同的数据方法f，即实现了处理单元在线切换的逻辑，在具体的程序语言实现中，即采用JVM类加载器实现处理单元的加载与切换。

(5)经上述步骤(4)处理后的数据流入输出单元o_d，输出单元o_d对边集合E进行检索，若边集合E中存在当前节点v_i的节点名称n与前驱节点v_x的节点名称n相同的e_i，则输出单元o_d将流入的数据传送给该e_i中的后继节点v_y，并返回上述步骤(2)，若边集合E中不存在当前节点v_i的节点名称n与前驱节点v_x的节点名称n相同的e_i，则输出单元o_d将流入的数据输出，得到流数据处理结果，并返回上述步骤(2)。

Claims (1)

1.一种支持处理单元在线切换的流数据处理方法，其特征在于该方法包括以下步骤：

(1)建立一个流数据处理的拓扑模型，拓扑模型为一个包括多个起始节点和多个终止节点的有向无环图，将拓扑模型记为二元组<V,E>，其中V为节点集合，E为边集合，其中节点集合V中的元素节点v_i包括：节点名称n、处理单元p和节点类型g，节点类型定义为源节点g₁和处理节点g₂；处理单元p包括：并发度s、处理逻辑l、输入单元i_d和输出单元o_d，输入单元i_d和输出单元o_d中分别含有流数据最大采集时间长度t_max、流数据描述信息a、流数据类型m和流数据值d四个属性；处理逻辑l包括键值集合KV，键值集合元素KV_i由流数据类型m和数据方法f构成，即KV_i＝<m,f>；边集合E中的元素e_i为由节点集合V中的任意两个相邻节点v_x和v_y构成的元组，即e_i＝<v_x,v_y>，记v_x节点为v_y节点的前驱节点，v_y节点为v_x节点的后继节点，前驱节点v_x在完成逻辑处理后将流数据传输给后继节点v_y；

(2)对上述拓扑模型的节点集合V中的节点类型进行判断，若节点v_i的类型为g₁，则节点v_i根据输入单元i_d的描述信息a中的数据来源信息进行数据采集，若节点v_i的类型为g₂，则节点v_i根据输入单元i_d的描述信息a中的数据监听网络端口信息，等待其他节点的数据到来后进行数据采集；

(3)节点v_i的处理单元p接收采集的数据，根据节点v_i的输入单元i_d中的最大采集时间长度t_max对当前采集数据的时间长度t_current进行判断，若t_current≥t_max，则停止采集数据，进入步骤(4)，若t_current<t_max，则重复本步骤；

(4)节点v_i的处理单元p的输入单元i_d接收采集的数据，采集数据进入处理单元p中的处理逻辑l，处理逻辑l根据输入单元i_d的流数据类型m，对处理逻辑l的键值集合KV进行检索，若键值集合KV中存在流数据类型m与输入单元i_d的流数据类型m相等的KV_i，则处理逻辑l根据处理单元p的并发度s，调用KV_i中的数据方法f，使用s个线程处理数据，进入步骤(5)，若键值集合KV中不存在流数据类型m与输入单元i_d的流数据类型m相等的KV_i，则返回上述步骤(3)；

(5)经上述步骤(4)处理后的数据流入输出单元o_d，输出单元o_d对边集合E进行检索，若边集合E中存在当前节点v_i的节点名称n与前驱节点v_x的节点名称n相同的e_i，则输出单元o_d将流入的数据传送给该e_i中的后继节点v_y，并返回上述步骤(2)，若边集合E中不存在当前节点v_i的节点名称n与前驱节点v_x的节点名称n相同的e_i，则输出单元o_d将流入的数据输出，得到流数据处理结果，并返回上述步骤(2)。