CN110019369B - 共用数据流处理拓扑的方法、装置、设备及介质 - Google Patents

Abstract

本发明实施例提供一种共用数据流处理拓扑的方法、装置、设备及介质。该方法包括：对预先生成的XML配置文件进行解析，获取数据源参数；将解析获取的数据源参数与运行中拓扑的目标XML配置文件的数据源参数进行比对；若存在一致的数据源，则调整运行中的拓扑的目标XML配置文件，以使目标配置文件与该XML配置文件对接；若不存在一致的数据源，则为该XML配置文件分配新的资源，构建拓扑结构。

Description

共用数据流处理拓扑的方法、装置、设备及介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种共用数据流处理拓扑的方法、装置、设备及介质

背景技术

大数据时代，数据呈现海量化、多样化、快速化和价值化的特性。大数据蕴含大信息，大信息提炼大知识，大知识将在更高的层面、更广的视角、更大的范围帮助用户提高洞察力、提升决策力，将为各行各业创造前所未有的重大价值。大数据的产生、传播的速度极快，无穷无尽，在不同时空中流转，呈现出鲜明的流式特征，更为重要的是，数据价值的有效时间急剧减少，也要求越来越高的数据计算和使用能力，因此拥有低延时、高吞吐的大数据流式计算能力，并能够便捷、高效、平稳的支撑变化多端的业务场景至关重要。

现有技术提供了一些流处理的方法和装置，如通过可配置的方式降低流处理的使用门槛，动态调整流处理逻辑减少对线上系统的影响，满足对大数据业务场景的高效、平稳支撑，但都可能存在性能缺陷。

例如，一个相关技术提供了一种基于Storm的流处理方法及系统，该系统根据用户提供的配置文件自动构建拓扑进行数据流处理，降低了数据流处理的使用门槛，满足对大数据业务场景的高效支撑，但存在性能缺陷，当用户提供的配置文件构建的不同拓扑使用了同样的数据源，将造成数据源I/O压力，导致性能下降。

又如，一个相关技术公开了一种数据流处理方法和装置，该方法提供了对实时计算系统拓扑结构的动态调整，减少对运行时系统的影响，但该方法是针对硬编码的流式计算系统，使用门槛高、开发效率较低，面对多变的大数据业务场景，支撑效率偏低，且也可能存在多个拓扑使用同一个数据源的情况，造成性能问题。

又一相关技术提供一种基于Storm的可变逻辑的通用数据处理系统，该系统也可根据配置动态调整流计算任务逻辑，满足多变的业务场景，但依然可能存在多个拓扑使用同一个数据源导致性能下降的问题。

综上所述，多用户配置数据流处理场景下性能优化问题是亟需要解决的技术问题。

发明内容

本发明实施例提供了一种共用数据流处理拓扑的方法、装置、设备及介质，用以解决多用户配置数据流处理场景下性能优化问题。

第一方面，本发明实施例提供了一种共用数据流处理拓扑的方法，方法包括：

对预先生成的XML配置文件进行解析，获取数据源参数；

将解析获取的数据源参数与运行中拓扑的目标XML配置文件的数据源参数进行比对；

若存在一致的数据源，则调整运行中的拓扑的目标XML配置文件，以使目标配置文件与该XML配置文件对接；

若不存在一致的数据源，则为该XML配置文件分配新的资源，构建拓扑结构。

优选的是所述对预先生成的XML配置文件进行解析，获取数据源参数的步骤，具体包括：

获取预先生成的XML配置文件的编号、版本信息，根据预先存储的解析过的XML配置文件的编号、版本信息，判断该XML配置文件是否被解析过；

多该XML配置文件未被解析过，则对该XML配置文件进行解析，获取数据源参数。

进一步优选的是，，所述数据源参数为XML配置文件被解析出的Spout组件的参数。

优选的是，所述若存在一致的数据源，则调整运行中的拓扑的目标XML配置文件，以使目标配置文件与该XML配置文件对接的步骤，具体包括：

若存在一致的数据源，则将该XML配置文件的Bolt组件与运行中的拓扑的目标XML配置文件的Spout组件进行对接，以对运行中的拓扑进行调整。

优选的是，所述若存在一致的数据源，在所述调整运行中的拓扑的目标XML配置文件之前，还包括：维护预先生成的XML配置文件与目标XML配置文件的映射关系。

优选的是，在所述若存在一致的数据源，则调整运行中的拓扑的目标XML配置文件，以使目标配置文件与该XML配置文件对接的步骤之后，还包括：

对运行中的拓扑的目标XML配置文件的Zookeeper状态进行更新；

根据更新的Zookeeper状态，识别发生变化的目标XML配置文件，以对运行中的拓扑进行调整。

进一步优选的是，所述拓扑调整具体包括如下步骤：

所述根据更新的Zookeeper状态，识别发生变化的目标XML配置文件，以对运行中的拓扑进行调整的步骤，具体包括：

实时监听Zookeeper状态，若识别到Zookeeper状态标识的目标XML配置文件发生变化，则对目标XML配置文件进行解析；

根据对目标XML配置文件的解析结果，识别目标XML配置文件中发生变化的拓扑结构；

为发生变化的拓扑结构分配资源，并启动发生变化拓扑结构；

将发生变化的拓扑结构向运行中的拓扑的结构中的数据源Spout组件发起订阅，根据所述数据源Spout接受订阅后的反馈，将发生变化的拓扑结构维护至运行中的拓扑结构中，以对拓扑进行动态调整。

第二方面，本发明实施例提供了一种共用数据流处理拓扑的装置，装置包括：分析模块，用于对预先生成的XML配置文件进行分析，获取数据源参数；

比对模块，用于将解析获取的数据源参数与运行中拓扑目标XML配置文件的数据源参数进行比对；

调整模块，用于在存在一致的数据源时，调整运行中的拓扑的目标XML配置文件，以使目标配置文件与该XML配置文件对接；在不存在一致的数据源时，为该XML配置文件分配新的资源，构建拓扑结构。

第三方面，本发明实施例提供了一种共用数据流处理拓扑的设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。

本发明实施例提供的共用数据流处理拓扑的方法、装置、设备及介质，根据对XML配置文件解析的结果，实现了对数据源的共用，同时可动态调整运行中的流式拓扑，大幅降低共用数据源时的IO瓶颈，提升性能，并保障系统不间断平稳运行。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一个实施例的共用数据流处理拓扑的方法的流程图；

图2为本发明的另一个实施例的共用数据流处理拓扑的方法的流程图；

图3为本发明的另一个实施例的共用数据流处理拓扑的方法的具体流程图；

图4-5为本发明的又一个实施例的共用数据流处理拓扑的装置；

图6为本发明的又一个实施例的共用数据流处理拓扑的设备。

具体实施方式

下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

结合图1所示，本发明一个实施例中提供了一种共用数据流处理拓扑的方法，该方法包括：

S01、对预先生成的XML配置文件进行解析，获取数据源参数；

S02、将解析获取的数据源参数与运行中拓扑的目标XML配置文件的数据源参数进行比对；

S03、若存在一致的数据源，则调整运行中的拓扑的目标XML配置文件，以使目标配置文件与该XML配置文件对接；若不存在一致的数据源，则为该XML配置文件分配新的资源，构建拓扑结构，并启动该拓扑结构。

在本实施例的共用数据流处理拓扑的方法中，根据对XML配置文件解析的结果，实现了对数据源的共用，同时可动态调整运行中的流式拓扑，大幅降低共用数据源时的IO瓶颈，提升性能，并保障系统不间断平稳运行。

为了更清楚本实施例的具体实现过程，结合实施例2进行具体说明。

结合图2和3所示，本发明另一实施例中提供了一种共用数据流处理拓扑的方法，具体包括：如下过程：

步骤1：流程编排

各用户根据业务需求，分别通过WEB端进行流程编排，选择功能组件，填写组件参数。功能组件使用某一类业务逻辑，组件参数指明该业务逻辑具体的操作对象，操作算法。

其中，功能组件包括：Kafka-Spout通用组件和HDFS-Spout通用组件。如Kafka抽取、数据过滤、数据清洗、数据分发、HDFS加载、Kafka加载等，组件参数如Kafka抽取组件参数指明Kafka连接、Kafka话题、消费组等。

根据这些组件编排的流程如从Kafka数据源进行数据抽取传输至下游节点，根据表达式条件进行数据过滤传输至下游节点，对数据进行标准化清洗转换传输至下游节点，然后按条件将数据分发分别传输至下游节点，HDFS加载和Kafka加载组件分别接收上游分发的数据加载至目标介质。

步骤2：流程发布

用户编排完流程后，进行流程发布，每个流程生成对应的XML配置文件，并维护至对应任务。XML配置文件中包含流程使用的功能组件，功能组件的连接关系，功能组件的具体参数信息等。其中，功能组件中的数据源组件类型为Spout，处理组件类型为Bolt。

步骤3：任务启动

流程发布后，启动任务，对应的预先生成的XML配置文件将被发送至配置文件解析器进行统一解析。

步骤4：配置解析

解析器接收到XML配置文件，将进行数据源解析、数据源比对，若有运行中匹配的数据源，则调整目标XML配置文件、维护映射关系、更新状态，若没有则不改变配置文件。

具体的，接收预先生成的XML配置文件，获取该XML配置文件编号、版本信息。

根据预先存储的解析过的XML配置文件的编号、版本信息，判断该XML配置文件是否被解析过。

若该配置文件未被解析过，则解析该XML配置文件，获取功能组件中类型为Spout的组件参数，维护解析后的组件参数及对应的XML配置文件编号、版本信息，也即增加XML配置文件解析后的Spout的组件参数。

将解析获取的数据源参数与运行中拓扑目标XML配置文件的数据源参数进行比对。

若存在一致数据源，则维护该XML配置文件与运行中目标XML配置文件的映射关系；若不存在一致数据源，则提交预先生成的XML配置文件，并为该XML配置文件分配资源，构建拓扑结构，并启动拓扑运行，也即启动新的拓扑。

在维护该XML配置文件与运行中目标XML配置文件的映射关之后，将该配置文件中Bolt类型组件及其参数、拓扑关系与目标XML配置文件的Spout类型组件对接。

Zookeeper状态：对运行中的拓扑的目标XML配置文件的Zookeeper状态进行更新；根据更新的Zookeeper状态，识别发生变化的目标XML配置文件，以对运行中的拓扑进行调整。

步骤5：拓扑运行

任务按照解析后的XML配置文件运行拓扑，若目标配置文件有调整，则调整对应目标拓扑，若没有调整，源，构建拓扑结构，并启动拓扑运行。

具体的，监听：监听模块实时监听Zookeeper状态，若识别到Zookeeper状态标识的目标XML配置文件发生变化，则通知进行目标XML配置文件重新解析。

解析：根据对目标XML配置文件的解析结果，，识别该目标XML配置文件发生变化的拓扑结构。

启动：

为发生变化的拓扑结构分配资源，并启动发生变化拓扑结构。

订阅：将发生变化的拓扑结构向运行中的拓扑的结构中的数据源Spout组件发起订阅，根据所述数据源Spout接受订阅后的反馈，将发生变化的拓扑结构维护至运行中的拓扑结构中，以对拓扑进行动态调整。

在本发明实施例的共用数据流处理拓扑的方法中，XML配置文件解析器，实现了数据源的识别和拓扑结构的拼接，为数据源共用提供前提；拓扑调节器，根据配置文件解析器的结果，实现了对数据源的共用，同时可动态调整运行中的流式拓扑，大幅降低共用数据源时的IO瓶颈，提升性能，并保障系统不间断平稳运行。结合图4所示，本发明另一实施例提供了一种共用数据流处理拓扑的装置，包括：分析模块3011、比对模块3012、调整模块3013。其中，分析模块3011用于对预先生成的XML配置文件进行分析，获取数据源参数；比对模块3012用于将解析获取的数据源参数与运行中拓扑的目标XML配置文件的数据源参数进行比对；调整模块3014用于在存在一致的数据源时，调整运行中的拓扑的目标XML配置文件，以使目标配置文件与该XML配置文件对接；在不存在一致的数据源时，为该XML配置文件分配新的资源，构建拓扑结构。

其中，结合图5所示，分析模块3011、比对模块3012、调整模块3013集成在解析器301中。当然本实施例中的装置不仅包括解析器301，还包括调节器302，以下进行具体说明。

本实施例的中的解析器301中包括接收模块(图中未示)、分析模块3011、比对模块3012、映射关系维护模块3014、调整模块3013、更新模块3015。其中，接收模块用于接收预先生成的XML配置文件；分析模块3011用于获取该XML配置文件编号、版本信息；比对模块3012用于判断该XML配置文件是否已解析过；若该配置文件未被解析过，则解析该XML配置文件，获取功能组件中类型为Spout的组件参数，维护解析后的组件参数及对应的XML配置文件编号、版本信息；映射关系维护模块3014用于存在一致数据源，则维护该XML配置文件与运行中目标XML配置文件的映射关；调整模块3013用于将该配置文件中Bolt类型组件及其参数、拓扑关系与目标XML配置文件的Spout类型组件对接；更新模块3015用于对运行中的拓扑的目标XML配置文件的Zookeeper状态进行更新。

本实施例中的调节器302包括监听模块3021、解析模块3022、拓扑调整模块3023；其中，监听模块3021用于实时监听Zookeeper状态，若识别到Zookeeper状态标识的目标XML配置文件发生变化，则通知进行目标XML配置文件重新解析；解析模块3022用于解析目标XML配置文件，识别其中发生变化的拓扑结构；拓扑调整模块3023用于为发生变化的拓扑结构分配资源，并启动发生变化拓扑结构，将发生变化的拓扑结构向运行中的拓扑的结构中的数据源Spout组件发起订阅，根据所述数据源Spout接受订阅后的反馈，将发生变化的拓扑结构维护至运行中的拓扑结构中，以对拓扑进行动态调整

在本发明实施例的共用数据流理拓扑的装置中，XML配置文件解析器，实现了数据源的识别和拓扑结构的拼接，为数据源共用提供前提；拓扑调节器，根据配置文件解析器的结果，实现了对数据源的共用，同时可动态调整运行中的流式拓扑，大幅降低共用数据源时的IO瓶颈，提升性能，并保障系统不间断平稳运行。

本发明另一实施例提供了一种在本发明实施例的共用数据流处理拓扑的设备。其中，本发明实施例的1或2中的方法可以由共用数据流处理拓扑的的设备来实现。图6示出了本发明实施例提供的共用数据流处理拓扑的设备的硬件结构示意图。

共用数据流处理拓扑的设备可以包括处理器401以及存储有计算机程序指令的存储器402。

具体地，上述处理器401可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。

存储器402可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器402可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器402可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器402可在数据处理装置的内部或外部。在特定实施例中，存储器402是非易失性固态存储器。在特定实施例中，存储器402包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。

处理器401通过读取并执行存储器402中存储的计算机程序指令，以实现上述实施例中的任意一种共用数据流处理拓扑的方法。

在一个示例中，共用数据流处理拓扑的设备还可包括通信接口403和总线410。其中，如图6所示，处理器401、存储器402、通信接口403通过总线410连接并完成相互间的通信。

通信接口403，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。

总线410包括硬件、软件或两者，将共用数据流处理拓扑的设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线410可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。

本发明另一实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种共用数据流处理拓扑的方法。

需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种共用数据流处理拓扑的方法，其特征在于，所述方法包括：

对预先生成的XML配置文件进行解析，获取数据源参数；

将解析获取的数据源参数与运行中拓扑的目标XML配置文件的数据源参数进行比对；

若存在一致的数据源，则调整运行中的拓扑的目标XML配置文件，以使目标配置文件与该XML配置文件对接；

若不存在一致的数据源，则为该XML配置文件分配新的资源，构建拓扑结构；

所述对预先生成的XML配置文件进行解析，获取数据源参数，包括：

获取预先生成的XML配置文件的编号、版本信息，根据预先存储的解析过的XML配置文件的编号、版本信息，判断该XML配置文件是否被解析过；

若 该XML配置文件未被解析过，则对该XML配置文件进行解析，获取数据源参数。

2.根据权利要求1所述的方法，其特征在于，所述数据源参数为XML配置文件被解析出的Spout组件的参数。

3.根据权利要求1所述的方法，其特征在于，所述若存在一致的数据源，则调整运行中的拓扑的目标XML配置文件，以使目标配置文件与该XML配置文件对接，包括：

若存在一致的数据源，则将该XML配置文件的Bolt组件与运行中的拓扑的目标XML配置文件的Spout组件进行对接，以对运行中的拓扑进行调整。

4.根据权利要求1所述的方法，其特征在于，所述若存在一致的数据源，在所述调整运行中的拓扑的目标XML配置文件之前，还包括：维护预先生成的XML配置文件与目标XML配置文件的映射关系。

5.根据权利要求1所述的方法，其特征在于，在所述若存在一致的数据源，则调整运行中的拓扑的目标XML配置文件，以使目标配置文件与该XML配置文件对接的步骤之后，还包括：

对运行中的拓扑的目标XML配置文件的Zookeeper状态进行更新；

根据更新的Zookeeper状态，识别发生变化的目标XML配置文件，以对运行中的拓扑进行调整。

6.根据权利要求5所述的方法，其特征在于，所述根据更新的Zookeeper状态，识别发生变化的目标XML配置文件，以对运行中的拓扑进行调整，包括：

实时监听Zookeeper状态，若识别到Zookeeper状态标识的目标XML配置文件发生变化，则对目标XML配置文件进行解析；

根据对目标XML配置文件的解析结果，识别目标XML配置文件中发生变化的拓扑结构；

为发生变化的拓扑结构分配资源，并启动发生变化拓扑结构；

将发生变化的拓扑结构向运行中的拓扑的结构中的数据源Spout组件发起订阅，根据所述数据源Spout接受订阅后的反馈，将发生变化的拓扑结构维护至运行中的拓扑结构中，以对拓扑进行动态调整。

7.一种共用数据流处理拓扑的装置，其特征在于，所述装置包括：

分析模块，用于对预先生成的XML配置文件进行分析，获取数据源参数；

比对模块，用于将解析获取的数据源参数与运行中拓扑目标XML配置文件的数据源参数进行比对；

调整模块，用于在存在一致的数据源时，调整运行中的拓扑的目标XML配置文件，以使目标配置文件与该XML配置文件对接；在不存在一致的数据源时，为该XML配置文件分配新的资源，构建拓扑结构；

解析模块，具体用于获取预先生成的XML配置文件的编号、版本信息，根据预先存储的解析过的XML配置文件的编号、版本信息，判断该XML配置文件是否被解析过；

若 该XML配置文件未被解析过，则对该XML配置文件进行解析，获取数据源参数。

8.一种共用数据流处理拓扑的设备，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1-6中任一项所述的方法。

9.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1-6中任一项所述的方法。

Images