CN111880899B - 一种基于云原生架构的大数据流处理方法和装置 - Google Patents

Abstract

本发明的实施例公开了一种基于云原生架构的大数据流处理方法、装置、电子设备及存储介质，涉及大数据流处理技术领域，用于避免大数据流处理任务执行的资源占用及插件冲突，提高平台运行安全性和稳定性。所述方法包括：接收服务器发送的大数据流处理任务，该任务中包含所需的插件镜像信息、Git仓库地址信息、输入和输出信息；通知Docker Engine从镜像仓库拉取并运行相应的插件镜像，使插件开始运行；插件运行后访问Git仓库，获取任务上下文数据；插件从数据源获取数据并进行数据处理，处理完毕后将任务处理结果和日志信息记录到Git仓库中并更新任务上下文数据；通知服务器任务已执行完成，并通知Docker Engine销毁运行的插件实例，释放占用的资源。

Description

一种基于云原生架构的大数据流处理方法和装置

技术领域

本发明涉及大数据流处理技术领域，尤其涉及一种云原生架构的大数据流处理方法、装置、电子设备及存储介质。

背景技术

在企业信息化的快速发展过程中，数据流的集成处理始终是一个重点关注的领域，随着云计算、大数据和人工智能为代表的新技术时代的到来，原有的数据集成平台软件面临着更大的挑战，面对从关系型数据库到NoSQL数据库、NewSQL数据库，消息中间件等更多的新出现的数据源类型，传输协议也从JDBC到REST、RPC等多种方式并存，需要处理的数据量也从关系型数据的GB为单位到大数据时代的TB甚至PB为单位，任务执行时占用的资源(CPU/n内存)也越来越大。传统技术架构下，数据集成处理平台通过增加自身软件的功能和自身提供的插件模块来实现各种数据的访问、处理，经常会面临数据库驱动没有及时升级、更新，各插件之间使用的驱动版本冲突、资源占用过高、资源不能释放等一系列问题，另外允许第三方插件直接与平台在进程中交互也容易带来安全问题，影响平台自身运行的安全性和稳定性。

云原生计算基金会(Cloud native computing foundation，CNCF)是在Linux基金会中创建的，用于构建和管理现代应用程序开发的平台和解决方案。CNCF将云原生定义为在“现代动态环境”中运行的“可扩展应用程序”，这些应用程序使用容器、微服务和声明性API等技术。

发明内容

有鉴于此，本发明实施例提供一种能够避免插件冲突，提高平台运行安全性和稳定性的基于云原生架构的大数据流处理方法、装置、电子设备及存储介质。

第一方面，本发明实施例提供一种基于云原生架构的大数据流处理方法，用于大数据流处理系统，所述大数据流处理系统包括服务器和客户端，所述服务器上安装有Docker Engine引擎和大数据流处理平台系统，所述客户端上安装有Docker Engine引擎和大数据流处理平台客户端，所述大数据流处理系统还包括Git仓库和镜像仓库，所述方法包括：

客户端接收服务器发送的大数据流处理任务，所述大数据流处理任务中包含执行该任务所需的插件镜像信息、Git仓库地址信息、输入和输出信息；

客户端根据所述插件镜像信息通知本地Docker Engine从所述镜像仓库拉取并运行相应的插件镜像，使插件开始运行；

插件运行后访问所述Git仓库，获取任务上下文数据；

插件根据所述任务上下文数据、输入和输出信息，从数据源获取数据并进行数据处理，处理完毕后将任务处理结果和日志信息记录到所述Git仓库中，并更新Git仓库的任务上下文数据；

客户端通知服务器分配的任务已执行完成，可进行下一步处理，并通知本地Docker Engine销毁运行的插件实例，使所述插件停止运行，释放占用的资源。

结合第一方面，在第一方面的一种实施方式中，所述客户端接收服务器发送的大数据流处理任务之前，包括：

大数据流处理平台系统根据预先设计、存储的大数据流处理模型定义文件生成大数据流处理任务，所述大数据流处理模型定义文件中包含每个任务所需的插件镜像信息、Git仓库地址信息、输入和输出信息；

大数据流处理平台系统选择合适的客户端并将大数据流处理任务发送给客户端。

结合第一方面，在第一方面的另一种实施方式中，所述大数据流处理模型定义文件中还包含每个任务运行的调度时间安排和任务的执行顺序、数据源、Git库地址、用户、口令、数据流处理参数；

所述大数据流处理平台系统选择合适的客户端并将大数据流处理任务发送给客户端，进一步为：

当调度时间到达后，大数据流处理平台系统选择合适的客户端分配任务并将相应的大数据流处理任务信息发送给对应的客户端。

第二方面，本发明实施例提供一种基于云原生架构的大数据流处理装置，用于大数据流处理系统，所述大数据流处理系统包括服务器和客户端，所述服务器上安装有Docker Engine引擎和大数据流处理平台系统，所述客户端上安装有Docker Engine引擎和大数据流处理平台客户端，所述大数据流处理系统还包括Git仓库和镜像仓库，所述装置包括：

接收模块，用于接收服务器发送的大数据流处理任务，所述大数据流处理任务中包含执行该任务所需的插件镜像信息、Git仓库地址信息、输入和输出信息；

运行模块，用于根据所述插件镜像信息通知本地Docker Engine从所述镜像仓库拉取并运行相应的插件镜像，使插件开始运行，其中插件运行后首先访问所述Git仓库，获取任务上下文数据，之后根据所述任务上下文数据、输入和输出信息，从数据源获取数据并进行数据处理，处理完毕后将任务处理结果和日志信息记录到所述Git仓库中，并更新Git仓库的任务上下文数据；

停止模块，用于通知服务器分配的任务已执行完成，可进行下一步处理，并通知本地Docker Engine销毁运行的插件实例，使所述插件停止运行，释放占用的资源。

第三方面，本发明实施例提供一种电子设备，所述电子设备包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行前述任一所述的方法。

第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现前述任一所述的方法。

本发明实施例提供的基于云原生架构的大数据流处理方法、装置、电子设备及存储介质，通过在客户端集成的Docker Client调用Docker Engine引擎，为插件以容器的方式运行提供运行、停止等基本生命周期管理功能，借助于docker容器之间的安全隔离实现了插件之间的安全隔离、互不影响，由大数据流处理平台系统负责根据大数据流处理模型定义文件中的定义通过调度模块发指令给大数据流处理平台客户端，客户端根据指令调度各插件的运行，各个插件模块之间的交互通过定义的Git仓库实现流处理任务与各执行任务的插件之间的上下文数据交换，同时支持大数据流处理平台系统通过客户端根据指令来调度和管理平台扩展插件，服务器、客户端、插件实现根据需要和资源情况在不同主机上的分布式运行，解决运行时的单台机器资源不够和消耗问题，任务完成后，插件容器自动销毁，实现资源回收。本发明实施例能够很好解决大数据流处理平台与扩展插件之间、插件与插件之间运行的版本冲突和安全问题，还能解决数据集成平台与第三方扩展插件的资源调度运行机制问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明的基于云原生架构的大数据流处理方法实施例的流程示意图；

图2为本发明的基于云原生架构的大数据流处理方法实施例的原理图；

图3为本发明的基于云原生架构的大数据流处理装置实施例的结构示意图；

图4为本发明的电子设备一个实施例的结构示意图。

具体实施方式

下面结合附图对本发明实施例进行详细描述。

应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

一方面，本发明实施例提供一种基于云原生架构的大数据流处理方法，用于大数据流处理系统，所述大数据流处理系统包括服务器和客户端，所述服务器上安装有DockerEngine引擎和大数据流处理平台系统，所述客户端上安装有Docker Engine引擎和大数据流处理平台客户端，所述大数据流处理系统还包括Git仓库和镜像仓库，具体实施时，大数据流处理系统可以系统软件的形式安装，该系统软件可以包括以下部分：

大数据流处理平台系统(软件)，安装在服务器上，负责大数据流处理模型的定义解析、管理，各流处理任务的分解、调度管理等；

Git仓库，存储各大数据流处理模型定义的任务执行上下文、执行结果和日志信息；

大数据流处理平台客户端，安装在客户端上，通过自身所提供的Docker Client调用Docker Engine负责大数据流处理平台系统扩展插件的启动、运行和销毁等生命周期管理；

扩展插件，负责根据大数据流处理平台系统规定的技术规范实现特定的数据任务处理，运行时根据大数据流处理模型定义文件中的参数设置对数据进行加工处理，并将数据处理结果存储到Git仓库。

如图1-2所示，本实施例的基于云原生架构的大数据流处理方法可以包括：

步骤101：客户端(也可理解为大数据流处理平台客户端)接收服务器(也可理解为大数据流处理平台系统)发送的大数据流处理任务，所述大数据流处理任务中包含执行该任务所需的插件镜像信息、Git仓库地址信息、输入和输出信息；

其中，输入信息是指待处理数据的数据源信息，输出信息是指数据源数据需要加工成何种数据格式以集成在数据集成平台上。该大数据流处理任务既可以是大数据流处理平台系统根据大数据流处理模型定义文件生成的周期执行的调度任务，也可以是事件触发或人为触发的单次大数据流处理任务。

步骤102：客户端根据所述插件镜像信息通知本地Docker Engine从所述镜像仓库拉取并运行相应的插件镜像(具体可通过自身提供的Docker Client调用Docker Engine予以执行)，使插件开始运行；

步骤103：插件运行后访问所述Git仓库，获取任务上下文数据；

步骤104：插件根据所述任务上下文数据、输入和输出信息，从数据源获取数据并进行数据处理，处理完毕后将任务处理结果和日志信息记录到所述Git仓库中，并更新Git仓库的任务上下文数据；

步骤105：客户端通知服务器分配的任务已执行完成(具体可通过自身提供的Docker Client调用Docker Engine予以执行)，可进行下一步处理，并通知本地DockerEngine销毁运行的插件实例，使所述插件停止运行，释放占用的资源(CPU、内存等)。

本步骤中，大数据流处理平台系统接收到任务处理结果后，如所在的大数据流处理模型定义文件中有后续大数据流处理任务，则可以继续给客户端分发大数据流处理任务，直至任务都处理完毕。

作为一种可选的实施例，所述客户端接收服务器发送的大数据流处理任务(步骤101)之前，可以包括：

步骤1001：大数据流处理平台系统根据预先设计、存储的大数据流处理模型定义文件生成大数据流处理任务，所述大数据流处理模型定义文件中包含每个任务所需的插件镜像信息、Git仓库地址信息、输入和输出信息；

本步骤中，大数据流开发人员根据需求场景设计大数据流处理模型，成果文件即为大数据流处理模型定义文件，在设计模型的处理任务步骤中指定要使用的插件镜像信息、Git仓库地址、数据输入和输出的数据源信息，以及任务运行时间，之后将大数据流处理模型上传到数据集成平台(大数据流处理平台系统)。

大数据流处理模型定义文件的格式可参考如下：

步骤1002：大数据流处理平台系统选择合适的客户端并将大数据流处理任务发送给客户端。

本步骤中，大数据流处理平台系统解析大数据流处理模型定义文件，可在调度中心中增加相关的调度任务，并将任务执行指令分发至客户端执行。至于如何选择客户端，可按照现有技术选择相对空闲的客户端或在定义文件中指定。

作为进一步可选的实施例，所述大数据流处理模型定义文件中还可以包含每个任务运行的调度时间安排和任务的执行顺序、数据源、Git库地址、用户、口令、数据流处理参数；

所述大数据流处理平台系统选择合适的客户端并将大数据流处理任务发送给客户端(步骤1002)，进一步为：

当调度时间到达后，大数据流处理平台系统选择合适的客户端分配任务并将相应的大数据流处理任务信息发送给对应的客户端。

综上，本发明实施例的大数据流处理方法通过在客户端自身所提供的DockerClient调用Docker Engine引擎，为插件以容器的方式运行提供运行、停止等基本管理功能，通过Docker容器之间的安全隔离实现了插件之间的安全隔离、互不影响运行资源占用，由大数据流处理平台系统负责根据大数据流处理模型定义文件中的定义通过客户端调度各插件的运行，各插件模块之间的交互通过模型定义的Git仓库实现，同时支持大数据流处理平台系统通过客户端来调度和管理平台扩展插件，大数据流处理平台和插件实现在不同主机上的分布式运行，有效解决运行时的资源消耗过大问题，任务完成后，插件容器自动销毁，实现资源回收。本发明实施例能够解决平台与插件之间、插件与插件之间运行的版本冲突、安全和资源占用问题，还能解决大数据流处理平台与第三方扩展插件的调度运行机制。

本发明实施例还具有以下有益效果：

1、本发明提供了一种基于云原生架构的大数据流处理方法，特别适用于企业大数据流处理及大型平台类软件的开发。

2、本发明的系统软件使用场景非常灵活，服务器负责插件运行的统一调度，客户端通过自带的Docker Client调用Docker Engine管理插件的启动、停止和销毁，同时支持分布式运行，可有效支持大数据流处理场景下单机运行容易出现资源不足和一直占用的问题。

3、本发明通过docker方式运行平台扩展插件，由于插件以容器方式独立运行，通过Git仓库实现插件与平台、插件与插件之间的数据交互，运行时的安全隔离性高，提升了平台运行的稳定性，有效防止某一插件的不稳定影响平台的稳定性问题。

4、本发明提供的扩展插件由于采用容器格式运行，与开发语言的运行时与插件打包在一起在容器中运行，所以不受开发语言限制，支持使用JAVA\C\C++\C#\Go等多种语言各种语言。现有方式的数据集成平台只支持采用平台自身的开发语言开发扩展插件(平台自身带有语言的运行时)，开发成本高。

本发明适用于大数据流处理平台与第三方扩展插件交互，可广泛应用于企业大数据平台类软件的开发、测试、生产环境中，应用范围广，平台和插件可以由不同的语言实现，可快速扩展大数据平台的功能。

另一方面，本发明实施例提供一种基于云原生架构的大数据流处理装置，用于大数据流处理系统，所述大数据流处理系统包括服务器和客户端，所述服务器上安装有Docker Engine引擎和大数据流处理平台系统，所述客户端上安装有Docker Engine引擎和大数据流处理平台客户端，所述大数据流处理系统还包括Git仓库和镜像仓库，如图3所示，该装置可以包括：

接收模块11，用于接收服务器发送的大数据流处理任务，所述大数据流处理任务中包含执行该任务所需的插件镜像信息、Git仓库地址信息、输入和输出信息；

运行模块12，用于根据所述插件镜像信息通知本地Docker Engine从所述镜像仓库拉取并运行相应的插件镜像，使插件开始运行，其中插件运行后首先访问所述Git仓库，获取任务上下文数据，之后根据所述任务上下文数据、输入和输出信息，从数据源获取数据并进行数据处理，处理完毕后将任务处理结果和日志信息记录到所述Git仓库中，并更新Git仓库的任务上下文数据；

停止模块13，用于通知服务器分配的任务已执行完成，可进行下一步处理，并通知本地Docker Engine销毁运行的插件实例，使所述插件停止运行，释放占用的资源(CPU、内存)。

本实施例的装置，可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

本发明实施例还提供一种电子设备，图4为本发明的电子设备一个实施例的结构示意图，可以实现本发明图1所示实施例的流程，如图4所示，上述电子设备可以包括：壳体41、处理器42、存储器43、电路板44和电源电路45，其中，电路板44安置在壳体41围成的空间内部，处理器42和存储器43设置在电路板44上；电源电路45，用于为上述电子设备的各个电路或器件供电；存储器43用于存储可执行程序代码；处理器42通过读取存储器43中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行前述任一方法实施例所述的方法。

处理器42对上述步骤的具体执行过程以及处理器42通过运行可执行程序代码来进一步执行的步骤，可以参见本发明图1或2所示实施例的描述，在此不再赘述。

该电子设备以多种形式存在，包括但不限于：

(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。

(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。

(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。

(4)服务器：提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。

(5)其他具有数据交互功能的电子设备。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一方法实施例所述的方法步骤。

本发明的实施例还提供一种应用程序，所述应用程序被执行以实现本发明任一方法实施例提供的方法。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。为了描述的方便，描述以上装置是以功能分为各种单元/模块分别描述。当然，在实施本发明时可以把各单元/模块的功能在同一个或多个软件和/或硬件中实现。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (4)

1.一种基于云原生架构的大数据流处理方法，用于大数据流处理系统，所述大数据流处理系统包括服务器和客户端，其特征在于，所述服务器上安装有Docker Engine引擎和大数据流处理平台系统，所述客户端上安装有Docker Engine引擎和大数据流处理平台客户端，所述大数据流处理系统还包括Git仓库和镜像仓库，所述方法包括：

客户端接收服务器发送的大数据流处理任务，所述大数据流处理任务中包含执行该任务所需的插件镜像信息、Git仓库地址信息、输入和输出信息；

客户端根据所述插件镜像信息通知本地Docker Engine从所述镜像仓库拉取并运行相应的插件镜像，使插件开始运行；

插件运行后访问所述Git仓库，获取任务上下文数据；

插件根据所述任务上下文数据、输入和输出信息，从数据源获取数据并进行数据处理，处理完毕后将任务处理结果和日志信息记录到所述Git仓库中，并更新Git仓库的任务上下文数据；

客户端通知服务器分配的任务已执行完成，可进行下一步处理，并通知本地DockerEngine销毁运行的插件实例，使所述插件停止运行，释放占用的资源；

所述客户端接收服务器发送的大数据流处理任务之前，包括：

大数据流处理平台系统根据预先设计、存储的大数据流处理模型定义文件生成大数据流处理任务，所述大数据流处理模型定义文件中包含每个任务所需的插件镜像信息、Git仓库地址信息、输入和输出信息；

大数据流处理平台系统选择合适的客户端并将大数据流处理任务发送给客户端。

2.根据权利要求1所述的方法，其特征在于，所述大数据流处理模型定义文件中还包含每个任务运行的调度时间安排和任务的执行顺序、数据源、Git库地址、用户、口令、数据流处理参数；

所述大数据流处理平台系统选择合适的客户端并将大数据流处理任务发送给客户端，进一步为：

当调度时间到达后，大数据流处理平台系统选择合适的客户端分配任务并将相应的大数据流处理任务信息发送给对应的客户端。

3.一种电子设备，其特征在于，所述电子设备包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行上述权利要求1-2任一所述的方法。

4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述权利要求1-2任一所述的方法。

Images