CN116932147A - 流式作业处理方法、装置、电子设备及介质 - Google Patents

Abstract

本公开提供了一种流式作业处理方法、装置、电子设备及介质，涉及人工智能技术领域，尤其涉及大数据领域和云计算领域。本公开提供的流式作业处理方法，包括：响应于待处理的作业处理请求，确定与所述作业处理请求关联的作业逻辑文件；为作业处理进程创建作业处理容器组；通过所述作业处理容器组将所述作业逻辑文件挂载到容器管理平台的容器镜像目录；基于挂载有作业逻辑文件的容器镜像目录对所述作业处理请求进行处理。本公开可以简化流式作业处理流程，提高流式作业处理效率，降低流式作业处理成本。

Description

流式作业处理方法、装置、电子设备及介质

技术领域

本公开涉及人工智能技术领域，尤其涉及大数据领域和云计算领域，可应用于流式作业处理场景，具体涉及一种流式作业处理方法。

背景技术

流处理引擎具有高效的流处理和批处理能力，以及良好的可伸缩性和容错性。容器管理平台，用于自动化容器部署、扩展和管理。将流处理引擎部署在容器管理平台上，将容器管理平台作为流处理引擎的资源管理系统，可以充分利用容器管理平台的优势，实现流处理的高可用、高性能和高弹性。

流处理引擎部署到容器管理平台中，需要使用容器管理平台中的基础容器镜像。相关技术中，通过将作业逻辑文件打进基础容器镜像的方式，将基础容器镜像和作业逻辑文件合并生成新的容器镜像，基于容器管理平台进行流式作业处理。这样的部署方式，需要反复进行容器镜像构建、发布、下载流程，耗时长，还会占用容器镜像仓库和宿主机的磁盘空间，存在流式作业处理流程复杂，流式作业处理效率低下以及流式作业处理成本高昂的缺点。

发明内容

本公开提供了一种流式作业处理方法、装置、电子设备及介质。

根据本公开的一方面，提供了一种流式作业处理方法，所述方法包括：

响应于待处理的作业处理请求，确定与所述作业处理请求关联的作业逻辑文件；

为作业处理进程创建作业处理容器组；

通过所述作业处理容器组将所述作业逻辑文件挂载到容器管理平台的容器镜像目录；

基于挂载有作业逻辑文件的容器镜像目录对所述作业处理请求进行处理。

根据本公开的另一方面，提供了一种流式作业处理装置，所述装置包括：

作业逻辑文件确定模块，用于响应于待处理的作业处理请求，确定与所述作业处理请求关联的作业逻辑文件；

作业处理容器组创建模块，用于为作业处理进程创建作业处理容器组；

作业逻辑文件挂载模块，用于通过所述作业处理容器组将所述作业逻辑文件挂载到容器管理平台的容器镜像目录；

作业处理请求处理模块，用于基于挂载有作业逻辑文件的容器镜像目录对所述作业处理请求进行处理。

根据本公开的又一方面，提供了一种电子设备，该电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开任一实施例所述的流式作业处理方法。

根据本公开的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行本公开任一实施例所述的流式作业处理方法。

根据本公开的又一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开任一实施例所述的流式作业处理方法。

根据本公开的技术，本公开可以简化流式作业处理流程，提高流式作业处理效率，降低流式作业处理成本。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开实施例提供的一种流式作业处理方法的流程图；

图2是根据本公开实施例提供的另一种流式作业处理方法的流程图；

图3是根据本公开实施例提供的另一种流式作业处理方法的流程图；

图4是根据本公开实施例提供的一种流式作业处理装置的结构示意图；

图5用来实现本公开实施例的流式作业处理方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本公开实施例提供的一种流式作业处理方法的流程图，本公开实施例适用于基于容器管理平台进行流式作业处理的情况。该方法可以由流式作业处理装置来执行，该装置可以采用软件和/或硬件的方式实现。如图1所示，本实施例的流式作业处理方法可以包括：

S101，响应于待处理的作业处理请求，确定与所述作业处理请求关联的作业逻辑文件。

S102，为作业处理进程创建作业处理容器组。

S103，通过所述作业处理容器组将所述作业逻辑文件挂载到容器管理平台的容器镜像目录。

S104，基于挂载有作业逻辑文件的容器镜像目录对所述作业处理请求进行处理。

其中，待处理的作业处理请求是指需要进行处理的作业处理请求。作业处理请求用于请求作业处理进程对目标流式作业进行处理。作业处理请求关联有作业逻辑文件。其中，作业逻辑文件记录有目标流式作业的作业执行逻辑。可选的，作业处理请求基于作业逻辑文件的对象存储地址生成。

可选的，响应于待处理的作业处理请求，从作业处理请求中提取作业逻辑文件的对象存储地址，基于作业逻辑文件的对象存储地址从对象存储中获取作业逻辑文件。其中，作业逻辑文件是预先存储到对象存储中的。

作业处理进程用于处理作业处理请求，运行在容器管理平台中。作业处理进程若要运行在容器管理平台，需要通过容器管理平台为作业处理进程构建作业处理容器组，然后在作业处理容器组中运行作业处理进程。可以知道的是，基于容器管理平台进行流式作业处理，作业处理进程需要依赖容器管理平台中的基础容器镜像。为作业处理进程构建作业处理容器组，在作业处理容器组中运行作业处理进程，使得作业处理进程能够使用容器管理平台中的基础容器镜像。可选的，基于作业处理请求为作业处理容器组构建资源描述文件。请求容器管理平台基于资源描述文件为作业处理进程构建作业容器组。

可以知道的是，在作业处理容器组创建完成之后，需要对作业处理容器组进行初始化，初始化完成后还要执行应用程序业务，接下来才能在作业处理容器组中启动作业处理进程。可选的，在作业处理进程启动之前，通过作业处理容器组将作业逻辑文件挂载到容器管理平台的容器镜像目录。这是因为，在作业处理进程启动之前，将作业逻辑文件挂载到容器管理平台的容器镜像目录，作业逻辑文件才能被作业处理进程获取。

其中，容器镜像目录用于对容器管理平台中的容器镜像文件进行组织管理，容器镜像目录包括执行目标流式作业所依赖的基础容器镜像。因此，基于容器镜像目录可以获取处理目标流式作业所依赖的基础容器镜像。

基于挂载有作业逻辑文件的容器镜像目录，作业处理进程可以获取到执行目标流式作业所需的作业逻辑文件和基础容器镜像。其中，作业逻辑文件由发起作业处理请求的大数据平台用户提供；基础容器镜像由容器管理平台提供。一般情况下，基础容器镜像存储在容器管理平台的镜像仓库中。作业处理进程基于作业逻辑文件和基础容器镜像，对作业处理请求进行处理。

本公开技术方案，通过作业处理容器组将作业逻辑文件挂载到容器管理平台的容器镜像目录，实现了作业逻辑文件与容器镜像目录中的基础容器镜像的结合，无需再将作业逻辑文件打进基础容器镜像构建新的容器镜像。基于挂载有作业逻辑文件的容器镜像目录，作业处理进程即可获取到基础容器镜像和作业逻辑文件，能够基于基础容器镜像和作业逻辑文件实现对作业处理请求的处理。执行本公开所提供的技术方案，不用反复进行容器镜像构建、发布以及下载流程，减少了对于容器镜像仓库和宿主机的磁盘空间的占用，简化了流式作业处理流程，提高了流式作业处理效率，降低了流式作业处理成本。

在一个可选的实施例中，所述容器管理平台为Kubernetes，所述作业处理进程属于Flink。

Kubernetes(简称K8s)是一种容器管理平台，用于自动化容器部署、扩展和管理。K8s在资源限制、运行环境隔离上的具有凸出优势，利用K8s进行资源管理和调度，可以降低个别作业资源占用过高影响其他作业的可能性。Flink是一个流处理引擎，具有高效的流处理和批处理能力，以及良好的可伸缩性和容错性。Flink可应用于实时智能推荐、实时欺诈检测、实时数仓以及实时报表等实时业务场景。Flink运行时由两种类型的进程组成：至少一个作业管理器进程(JobManager)和一个或者多个任务管理器进程(TaskManager)。任务管理器进程的数量根据实际业务需求确定，在这里不作限定。将Flink与K8s相结合具有灵活性高，可用性高，易于管理以及容器化部署等天然优势。上述技术方案，将K8s作为Flink的资源管理系统，基于K8s进行流式作业处理，可以覆盖主流的流式作业处理场景，有利于提高流式作业处理的场景适用性。

在一个可选的实施例中，所述通过所述作业处理容器组将所述作业逻辑文件挂载到容器管理平台的容器镜像目录，包括：通过作业处理容器组中的初始化容器将所述作业逻辑文件下载到临时挂载目录；通过作业处理容器组中的业务容器，将所述临时挂载目录中的作业逻辑文件软链接到容器管理平台的容器镜像目录。

其中，作业处理容器组包括包括初始化容器(init container)和业务容器(maincontainer)。其中，初始化容器用于对作业处理容器组进行初始化；业务容器用于执行应用程序业务。在通过初始化容器对作业处理容器组进行初始化以后，才会通过业务容器执行作业处理容器组中的应用程序业务。

在对作业处理容器组进行初始化的过程中，通过作业处理容器组中的初始化容器将作业逻辑文件下载到临时挂载目录，然后，将临时挂载目录挂载到初始化容器和业务容器。其中，临时挂载目录通过容器管理平台在启动作业处理容器组中初始化容器时在宿主机上为作业处理容器组创建。临时挂载目录用来存放作业逻辑文件。业务容器执行应用程序业务，具体的，业务容器将临时挂载目录中的作业逻辑文件软链接到容器管理平台的容器镜像目录。容器镜像目录中包含执行目标流式作业所依赖的所有容器镜像。

可选的，将容器镜像目录中的所有文件加入到作业处理进程的类路径中。其中，类路径用于指示作业处理进程在哪些目录下可以找到所需要的类或者包。作业处理进程从类路径中加载作业逻辑文件时会读取软链接、进而读取临时挂载目录中的作业逻辑文件。

示例性的，将临时挂载目录挂载到初始化容器和业务容器的${FLINK_HOME}/joblib目录。由业务容器将${FLINK_HOME}/joblib目录中的文件全部软链接到${FLINK_HOME}/lib目录。其中，${FLINK_HOME}/lib目录为容器镜像目录，临时挂载目录是可以是EmptyDir挂载目录。其中，EmptyDir挂载目录是最基础的存储卷(Volume)类型，一个EmptyDir挂载目录就是Host上一个空目录。其中，Host指的是Host网络，是一种网络设置方式可用于对容器进行网络设置。

上述技术方案，提供了一种切实可行的作业逻辑文件挂载方法，为将作业逻辑文件挂载到容器管理平台的容器镜像目录提供了技术支持，使得不用反复进行容器镜像构建、发布、下载流程，也可以基于容器管理平台进行流式作业处理成为可能，为简化流式作业处理流程，提高流式作业处理效率，降低流式作业处理成本提供了技术支持。

在一个可选的实施例中，所述作业处理进程包括任务管理器进程和作业管理器进程；所述作业处理容器组包括任务管理器容器组和作业管理器容器组。

其中，任务管理器进程和作业管理器进程通信连接，任务管理器进程负责资源协调和作业调度。作业管理器进程用于作业执行。任务管理器容器组是容器管理平台为任务管理器进程创建的，任务管理器进程运行在任务管理器容器组中；作业管理器容器组是容器管理平台为作业管理器进程创建的，作业管理器进程运行在作业管理器容器组中。上述技术方案，提供了一种作业处理进程和作业处理容器组的落地构成方案，为基于容器管理平台进行流式作业处理提高了技术支持。

值得注意的是，将作业逻辑文件挂载到容器镜像目录只会对某一个容器组生效，并不是对容器管理平台创建所有的容器组生效，因此，在作业处理容器组包括任务管理器容器组和作业管理器容器组的情况下，分别通过任务管理器容器组和作业管理器容器组将作业逻辑文件挂载到容器管理平台的容器镜像目录。

任务管理器容器组和作业管理器容器组各自拥有属于自己的初始化容器和业务容器。初始化容器用于对容器组进行初始化，初始化容器将作业逻辑文件下载到临时挂载目录。业务容器用于执行应用程序业务，具体的，业务容器将临时挂载目录中的作业逻辑文件软链接到容器管理平台的容器镜像目录。在初始化容器和业务容器的配合下，任务管理器容器组和作业管理器容器组分别将作业逻辑文件挂载到容器管理平台的容器镜像目录。任务管理器容器组和作业管理器容器组会将同一个作业逻辑文件挂载到相同的容器镜像目录，这是因为任务管理器容器组和作业管理器容器组作为相互独立的容器组，任务管理器容器组执行完毕后，作业管理器容器组启动后是无法使用为任务管理器容器组挂载的容器镜像目录。

图2是根据本公开实施例提供的另一种流式作业处理方法的流程图；本实施例是在上述实施例的基础上提出的一种可选方案。

参见图2，本实施例提供的流式作业处理方法包括：

S201，响应于待处理的作业处理请求，确定与所述作业处理请求关联的作业逻辑文件。

S202，基于所述作业处理请求为所述任务管理器进程和所述作业管理器进程构造资源描述文件。

其中，资源描述文件是容器管理平台构建任务管理器容器组和作业管理器容器组的数据依据。可选的，资源描述文件为YAML(Yet Another Markup Language)文件。其中，YAML文件采用缩进表示层次结构，使用冒号和空格表示键值对，使用横杠和空格表示列表。支持字符串、数字、布尔值、日期、时间和空值等基本数据类型，还支持嵌套结构、注释、引用等高级特性。YAML文件可以被多种编程语言解析和生成，在开发中被广泛应用，特别是在容器编排、持续集成和自动化部署等领域。

可选的，资源描述文件基于作业逻辑文件的对象存储地址，作业逻辑文件和作业执行参数的临时挂载目录构建。其中，对象存储地址是指作业逻辑文件在对象存储中的存放位置，基于对象存储地址可以从对象存储中获取作业逻辑文件。临时挂载目录用于存放初始化容器下载的作业逻辑文件。作业执行参数用于确定目标流式作业的作业执行要求，示例性的，作业执行参数可以包括作业的并行度。其中，作业处理请求是针对于目标流式作业产生产生的。可选的，资源描述文件由流式引擎客户端进程生成。

S203，基于所述资源描述文件，请求所述容器管理平台为所述任务管理器进程创建任务管理器容器组。

流式引擎客户端进程向容器管理平台发起任务管理器容器组的创建请求，容器管理平台响应于任务管理器容器组的创建请求，基于资源描述文件，为任务管理器进程创建任务管理器容器组。

S204，基于所述资源描述文件和所述作业逻辑文件，所述任务管理器进程请求所述容器管理平台为作业管理器进程创建作业管理器容器组。

其中，作业逻辑文件记录有目标流式作业的作业执行逻辑，作业执行参数用于确定目标流式作业的作业执行要求。在任务管理器容器组中启动任务管理器进程，任务管理器进程基于资源描述文件和作业逻辑文件，确定执行目标流式作业所产生的资源需求，任务管理器进程基于资源需求请求容器管理平台为作业管理器进程创建作业管理器容器组。

S205，通过所述作业处理容器组将所述作业逻辑文件挂载到容器管理平台的容器镜像目录。

由于，将作业逻辑文件挂载到容器镜像目录只会对某一个容器组生效，并不是对容器管理平台创建所有的容器组生效。也就是说，挂载到容器镜像目录的作业逻辑文件在不同的容器组之间的不共享，容器组需要自己将作业逻辑文件挂载到容器镜像目录。

因此，任务管理器容器组和作业管理器容器组均将作业逻辑文件挂载到容器管理平台的容器镜像目录。

S206，基于挂载有作业逻辑文件的容器镜像目录对所述作业处理请求进行处理。

通过任务管理器容器组中的任务管理进程和作业管理器容器组中的作业管理器进程，基于挂载有作业逻辑文件的容器镜像目录对作业处理请求进行处理。

本公开技术方案，提供了一种切实可行的容器组创建方法，用于创建任务管理器容器组和作业管理器容器组，使得不用反复进行容器镜像构建、发布、下载流程，也可以基于容器管理平台进行流式作业处理成为可能，为简化流式作业处理流程，提高流式作业处理效率，降低流式作业处理成本提供了技术支持。

在一个可选的实施例中，通过所述任务管理器容器组中的任务管理器进程，基于所述资源描述文件和所述作业逻辑文件，请求所述容器管理平台为作业管理器进程创建作业管理器容器组，包括：基于所述作业逻辑文件和所述资源描述文件中的作业执行参数，所述任务管理器进程确定作业管理器进程的需求量；基于所述资源描述文件和所述作业管理器进程的需求量，所述任务管理器进程请求所述容器管理平台为所述作业管理器进程创建作业管理器容器组。

其中，作业执行参数用于确定目标流式作业的作业执行要求，示例性的，作业执行参数可以包括作业的并行度。

任务管理器容器组中的任务管理器进程，基于作业逻辑文件和资源描述文件中的作业执行参数，确定作业管理器进程的需求量。其中，作业管理器进程的需求量，也就是，容器管理平台需要创建的作业管理器容器组的数量。任务管理器容器组请求容器管理平台基于资源描述文件创建作业管理器容器组，容器管理平台所创建的作业管理器容器组满足作业管理器进程的需求量。

可选的，任务管理器容器组和作业管理器容器组共用一份资源描述文件。也就是说，任务管理器容器组无需生成作业管理器容器组的资源描述文件，任务管理器容器组可将流式引擎客户端进程生成的资源描述文件，用于请求容器管理平台为作业管理器进程创建作业管理器容器组。

上述技术方案提供了一种切实可行的容器组创建方法，用于创建作业管理器容器组，为基于容器管理平台进行流式作业处理提供了技术支持。

图3是根据本公开实施例提供的另一种流式作业处理方法的流程图，本实施例是在上述实施例的基础上提出的一种可选方案。如图3所示，本实施例的流式作业处理方法可以包括：

S301，响应于待处理的作业处理请求，确定与所述作业处理请求关联的作业逻辑文件。

S302，为作业处理进程创建作业处理容器组；其中，作业处理进程包括任务管理器进程和作业管理器进程。

S303，通过所述作业处理容器组将所述作业逻辑文件挂载到容器管理平台的容器镜像目录；其中，作业处理容器组包括任务管理器容器组和作业管理器容器组。

任务管理器进程运行在任务管理器容器组中，作业管理器进程运行在作业管理器容器组中。

分别通过任务管理器容器组和作业管理器容器组将作业逻辑文件挂载到容器管理平台的容器镜像目录。

S304，基于所述容器镜像目录，所述任务管理器进程加载所述作业逻辑文件并对所述作业逻辑文件进行解析得到所述作业逻辑文件的作业执行拓扑。

作业逻辑文件在任务管理器进程启动之前，已经挂载到容器管理平台的容器镜像目录。在任务管理器容器组中启动任务管理器进程，任务管理器容器组中的任务管理器进程，基于容器镜像目录加载作业逻辑文件。然后，任务管理器进程对作业逻辑文件进行解析得到作业逻辑文件的作业执行拓扑。

其中，作业执行拓扑用于基于作业逻辑文件中目标作业操作之间的操作依赖关系确定。

S305，基于所述作业执行拓扑，所述任务管理器进程确定待执行的目标作业操作。

基于作业执行拓扑可以确定目标作业操作的操作执行顺序。任务管理器容器组中的任务管理器进程，基于作业执行拓扑确定待执行的目标作业操作，并确定目标作业操作所属的目标操作类型。示例性的，目标作业操作可以是读取消息中间件数据，连接数据库维度表数据或者写入数据库。目标操作类型可以包括：数据读取操作，数据写入操作或者数据连接操作。

S306，若所述目标作业操作涉及针对于目标虚拟私有云的数据读写操作，则通过所述任务管理器进程调用挂载在所述任务管理器容器组的弹性网卡确定所述目标虚拟私有云中的数据读写地址。

其中，虚拟私有云(VPC，Virtua Private Coud)，为公有云用户提供了一个安全、隔离的私有网络环境，用户可以在VPC中按需部署云服务器、云数据库和云存储等云资源。一般情况下，大数据平台账号VPC内的任务管理器进程和作业管理器进程无法访问用户VPC内的数据源进程。本公开实施例，基于目标虚拟私有云的虚拟私有云标识和虚拟私有云路由预先创弹性网卡，并挂载到任务管理器容器组和作业管理器容器组。其中，弹性网卡用于访问目标虚拟私有云中的数据源进程。

任务管理器进程调用挂载在任务管理器容器组的弹性网卡确定目标虚拟私有云中的数据读写地址。

S307，将所述数据读写地址和所述作业执行拓扑，发给所述作业管理器容器组中的作业管理器进程。

可选的，通过任务管理器进程将数据读写地址写入作业执行拓扑，将写有数据读写地址的作业执行拓扑发给作业管理容器组中的作业管理器进程。

S308，基于所述作业执行拓扑和所述数据读写地址，所述作业管理器进程调用挂载在所述作业管理器容器组的弹性网卡执行目标作业操作以对所述作业处理请求进行处理。

其中，所述弹性网卡基于目标虚拟私有云的虚拟私有云标识和虚拟私有云路由预先创建，并挂载到所述任务管理器容器组和所述作业管理器容器组。

作业管理器进程基于作业执行拓扑和数据读写地址，调用在作业管理器容器组的弹性网卡执行目标作业操作以对作业处理请求进行处理。

示例性的，在目标作业操作读取kafka写入hive表，目标作业操作涉及针对于目标虚拟私有云的数据读写操作，任务管理器进程调用挂载在任务管理器容器组的弹性网卡访问目标虚拟私有云中的hive表，获取hive表的hdfs(Hadoop Distributed File System，Hadoop分布式文件系统)存储路径作为数据读写地址，任务管理器进程将hive表的hdfs存储路径写入作业执行拓扑，作业管理器进程从作业执行拓扑中获取hive表的hdfs存储路径，将读取到的kafka数据将写入hive表的hdfs存储路径。其中，Kafka是用于实时数据传输的消息中间件。hive是基于海杜普(Hadoop)的一个数据仓库工具，用来进行数据提取、转化和加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制，hive表是通过hive创建一个具有特定数据格式的内部表。

本公开技术方案通过任务管理器进程和作业管理器进程，调用挂载在任务管理器容器组和作业管理器容器组的弹性网卡，对目标虚拟私有云内的数据源进程进行访问，针对于目标虚拟私有云执行数据读写操作，省去了基于容器管理平台进行流式作业处理所需要的容器集群申请、创建和部署流程。简化了流式作业处理流程，提高了流式作业处理效率，降低了流式作业处理成本。

在一个可选的实施例中，所述方法还包括：基于所述作业处理请求关联的虚拟私有云标识和虚拟私有云路由确定待访问的目标虚拟私有云，并在所述目标虚拟私有云中创建弹性网卡；将所述目标虚拟私有云的弹性网卡挂载到所述作业处理容器组，以供所述作业处理进程基于所述弹性网卡访问所述目标虚拟私有云中的数据源进程。

作业处理请求一般由大数据平台中虚拟私有云的用户发起，虚拟私有云的用户发作业处理请求时，需要提供的虚拟私有云标识和虚拟私有云路由。其中，虚拟私有云标识是虚拟私有云的唯一性标识，用于区分不同虚拟私有云。虚拟私有云路由用于确定虚拟私有云的IP(Internet Protocol，网际互连协议)地址。

根据虚拟私有云标识确定目标虚拟私有云，基于虚拟私有云路由在目标虚拟私有云中创建弹性网卡。

将目标虚拟私有云的弹性网卡挂载到作业处理容器组，在作业处理容器组包括任务管理器容器组和作业管理器容器组的情况下，将弹性网卡分别挂载到任务管理器容器组和作业管理器容器组。相应的，在作业处理进程包括任务管理器进程和作业管理器进程的情况下，任务管理器进程和作业管理器进程分别基于挂载到各自的容器组的弹性网卡访问所述目标虚拟私有云中的数据源进程。

上述技术方案，提供了一种切实可行的弹性网卡创建方法，通过创建目标虚拟私有云内的弹性网卡，为后续通过作业处理进程基于弹性网卡，访问目标虚拟私有云中的数据源进程，进行作业处理提供了技术支持。

在一个可选的实施例中，所述方法还包括：基于挂载在所述作业处理容器组的预设日志配置文件，所述作业处理进程确定日志传输端口；基于所述日志传输端口获取所述作业处理进程处理所述作业处理请求过程中产生的作业处理日志；将所述作业处理日志写入外部文件存储。

其中，预设日志配置文件基于日志传输端口预先生成，并挂载到作业处理容器组。在作业处理容器组包括任务管理器容器组和作业管理器容器组的情况下，需要将预设日志配置文件分别挂载到任务管理器容器组和作业管理器容器组。预设日志配置文件用于替换容器管理平台中的默认日志配置文件。作业处理进程基于预设日志配置文件可以确定日志传输端口。其中，日志传输端口用于传输作业处理日志。作业处理进程包括任务管理器进程和作业管理器进程的情况下，作业处理日志由任务管理器进程和作业管理器进程在处理作业处理请求的过程中产生。任务管理器进程和作业管理器进程基于预设日志配置文件可以确定日志传输端口。

可以知道的是，一般情况下，作业处理日志会写入到容器管理平台的容器文件系统中，当容器组执行完毕后，作业处理日志也会被清除。本公开中作业管理器进程基于日志传输端口将作业处理日志输出，然后将作业处理日志写入外部文件存储。其中，外部文件存储是相对容器管理平台的容器文件系统而言，将作业处理日志写入外部文件存储，可以实现作业处理日志的持久化存储。这样做可以避免当容器组执行完毕后，作业处理日志被清除，有利于为后续问题排查提供了数据参考。

图4是根据本公开实施例提供的一种流式作业处理装置的结构示意图。本公开实施例适用于基于容器管理平台进行流式作业处理的情况。该装置可以采用软件和/或硬件来实现，该装置可以实现本公开任意实施例所述的流式作业处理方法。

如图4所示，该流式作业处理装置400包括：

作业逻辑文件确定模块401，用于响应于待处理的作业处理请求，确定与所述作业处理请求关联的作业逻辑文件；

作业处理容器组创建模块402，用于为作业处理进程创建作业处理容器组；

作业逻辑文件挂载模块403，用于通过所述作业处理容器组将所述作业逻辑文件挂载到容器管理平台的容器镜像目录；

作业处理请求处理模块404，用于基于挂载有作业逻辑文件的容器镜像目录对所述作业处理请求进行处理。

本公开技术方案，通过作业处理容器组将作业逻辑文件挂载到容器管理平台的容器镜像目录，实现了作业逻辑文件与容器镜像目录中的基础容器镜像的结合，无需再将作业逻辑文件打进基础容器镜像构建新的容器镜像。基于挂载有作业逻辑文件的容器镜像目录，作业处理进程即可获取到基础容器镜像和作业逻辑文件，基于基础容器镜像和作业逻辑文件实现对作业处理请求的处理。执行本公开所提供的技术方案，不用反复进行容器镜像构建、发布以及下载流程，减少了对于容器镜像仓库和宿主机的磁盘空间的占用，简化了流式作业处理流程，提高了流式作业处理效率，降低了流式作业处理成本。

可选的，所述作业逻辑文件挂载模块403，包括：作业逻辑文件下载子模块，用于通过作业处理容器组中的初始化容器将所述作业逻辑文件下载到临时挂载目录；作业逻辑文件软链接子模块，用于通过作业处理容器组中的业务容器，将所述临时挂载目录中的作业逻辑文件软链接到容器管理平台的容器镜像目录。

可选的，所述作业处理进程包括任务管理器进程和作业管理器进程；所述作业处理容器组包括任务管理器容器组和作业管理器容器组；所述作业处理容器组创建模块402，包括：资源描述文件构造子模块，用于基于所述作业处理请求为所述任务管理器进程和所述作业管理器进程构造资源描述文件；任务管理器容器组创建子模块，用于基于所述资源描述文件，请求所述容器管理平台为所述任务管理器进程创建任务管理器容器组；作业管理器容器组创建子模块，用于基于所述资源描述文件和所述作业逻辑文件，所述任务管理器进程请求所述容器管理平台为作业管理器进程创建作业管理器容器组。

可选的，所述作业管理器容器组创建子模块，包括：需求量确定单元，用于基于所述作业逻辑文件和所述资源描述文件中的作业执行参数，所述任务管理器进程确定作业管理器进程的需求量；作业管理器容器组创建单元，用于基于所述资源描述文件和所述作业管理器进程的需求量，所述任务管理器进程请求所述容器管理平台为所述作业管理器进程创建作业管理器容器组。

可选的，所述作业处理进程包括任务管理器进程和作业管理器进程；所述作业处理容器组包括任务管理器容器组和作业管理器容器组；所述作业处理请求处理模块404，包括：作业逻辑文件解析子模块，用于基于所述容器镜像目录，所述任务管理器进程加载所述作业逻辑文件并对所述作业逻辑文件进行解析得到所述作业逻辑文件的作业执行拓扑；目标作业操作确定子模块，用于基于所述作业执行拓扑，所述任务管理器进程确定待执行的目标作业操作；数据读写地址确定子模块，用于若所述目标作业操作涉及针对于目标虚拟私有云的数据读写操作，则通过所述任务管理器进程调用挂载在所述任务管理器容器组的弹性网卡确定所述目标虚拟私有云中的数据读写地址；相关数据发送子模块，用于将所述数据读写地址和所述作业执行拓扑，发给所述作业管理器容器组中的作业管理器进程；作业处理请求处理子模块，用于基于所述作业执行拓扑和所述数据读写地址，所述作业管理器进程调用挂载在所述作业管理器容器组的弹性网卡执行目标作业操作以对所述作业处理请求进行处理；其中，所述弹性网卡基于目标虚拟私有云的虚拟私有云标识和虚拟私有云路由预先创建，并挂载到所述任务管理器容器组和所述作业管理器容器组。

可选的，所述装置400还包括：弹性网卡创建模块，用于基于所述作业处理请求关联的虚拟私有云标识和虚拟私有云路由确定待访问的目标虚拟私有云，并在所述目标虚拟私有云中创建弹性网卡；弹性网卡挂载模块，用于将所述目标虚拟私有云的弹性网卡挂载到所述作业处理容器组，以供所述作业处理进程基于所述弹性网卡访问所述目标虚拟私有云中的数据源进程。

可选的，所述装置400还包括：日志传输端口确定模块，用于基于挂载在所述作业处理容器组的预设日志配置文件，所述作业处理进程确定日志传输端口；作业处理日志获取模块，用于基于所述日志传输端口获取所述作业处理进程处理所述作业处理请求过程中产生的作业处理日志；作业处理日志写入模块，用于将所述作业处理日志写入外部文件存储。

可选的，所述容器管理平台为Kubernetes，所述作业处理进程属于Flink。

本公开实施例所提供的流式作业处理装置可执行本公开任意实施例所提供的流式作业处理方法，具备执行流式作业处理方法相应的功能模块和有益效果。

本公开的技术方案中，所涉及的用户信息，语音控制指令的收集、存储、使用、加工、传输、提供和公开等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图5示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图5所示，电子设备500包括计算单元501，其可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序，来执行各种适当的动作和处理。在RAM 503中，还可存储电子设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

电子设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许电子设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如流式作业处理方法。例如，在一些实施例中，流式作业处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到电子设备500上。当计算机程序加载到RAM 503并由计算单元501执行时，可以执行上文描述的流式作业处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行流式作业处理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程流式作业处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术及机器学习/深度学习技术、大数据处理技术、知识图谱技术等几大方向。

云计算(cloud computing)，指的是通过网络接入弹性可扩展的共享物理或虚拟资源池，资源可以包括服务器、操作系统、网络、软件、应用和存储设备等，并可以按需、自服务的方式对资源进行部署和管理的技术体系。通过云计算技术，可以为人工智能、区块链等技术应用、模型训练提供高效强大的数据处理能力。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (19)

1.一种流式作业处理方法，所述方法包括：

响应于待处理的作业处理请求，确定与所述作业处理请求关联的作业逻辑文件；

为作业处理进程创建作业处理容器组；

通过所述作业处理容器组将所述作业逻辑文件挂载到容器管理平台的容器镜像目录；

基于挂载有作业逻辑文件的容器镜像目录对所述作业处理请求进行处理。

2.根据权利要求1所述的方法，其中，所述通过所述作业处理容器组将所述作业逻辑文件挂载到容器管理平台的容器镜像目录，包括：

通过作业处理容器组中的初始化容器将所述作业逻辑文件下载到临时挂载目录；

通过作业处理容器组中的业务容器，将所述临时挂载目录中的作业逻辑文件软链接到容器管理平台的容器镜像目录。

3.根据权利要求1所述的方法，其中，所述作业处理进程包括任务管理器进程和作业管理器进程；所述作业处理容器组包括任务管理器容器组和作业管理器容器组；

所述为作业处理进程创建作业处理容器组，包括：

基于所述作业处理请求为所述任务管理器进程和所述作业管理器进程构造资源描述文件；

基于所述资源描述文件，请求所述容器管理平台为所述任务管理器进程创建任务管理器容器组；

基于所述资源描述文件和所述作业逻辑文件，所述任务管理器进程请求所述容器管理平台为作业管理器进程创建作业管理器容器组。

4.根据权利要求3所述的方法，其中，所述基于所述资源描述文件和所述作业逻辑文件，所述任务管理器进程请求所述容器管理平台为作业管理器进程创建作业管理器容器组，包括：

基于所述作业逻辑文件和所述资源描述文件中的作业执行参数，所述任务管理器进程确定作业管理器进程的需求量；

基于所述资源描述文件和所述作业管理器进程的需求量，所述任务管理器进程请求所述容器管理平台为所述作业管理器进程创建作业管理器容器组。

5.根据权利要求1所述的方法，其中，所述作业处理进程包括任务管理器进程和作业管理器进程；所述作业处理容器组包括任务管理器容器组和作业管理器容器组；

所述基于挂载有作业逻辑文件的容器镜像目录对所述作业处理请求进行处理，包括：

基于所述容器镜像目录，所述任务管理器进程加载所述作业逻辑文件并对所述作业逻辑文件进行解析得到所述作业逻辑文件的作业执行拓扑；

基于所述作业执行拓扑，所述任务管理器进程确定待执行的目标作业操作；

若所述目标作业操作涉及针对于目标虚拟私有云的数据读写操作，则通过所述任务管理器进程调用挂载在所述任务管理器容器组的弹性网卡确定所述目标虚拟私有云中的数据读写地址；

将所述数据读写地址和所述作业执行拓扑，发给所述作业管理器容器组中的作业管理器进程；

基于所述作业执行拓扑和所述数据读写地址，所述作业管理器进程调用挂载在所述作业管理器容器组的弹性网卡执行目标作业操作以对所述作业处理请求进行处理；

其中，所述弹性网卡基于目标虚拟私有云的虚拟私有云标识和虚拟私有云路由预先创建，并挂载到所述任务管理器容器组和所述作业管理器容器组。

6.根据权利要求1所述的方法，所述方法还包括：

基于所述作业处理请求关联的虚拟私有云标识和虚拟私有云路由确定待访问的目标虚拟私有云，并在所述目标虚拟私有云中创建弹性网卡；

将所述目标虚拟私有云的弹性网卡挂载到所述作业处理容器组，以供所述作业处理进程基于所述弹性网卡访问所述目标虚拟私有云中的数据源进程。

7.根据权利要求1所述的方法，所述方法还包括：

基于挂载在所述作业处理容器组的预设日志配置文件，所述作业处理进程确定日志传输端口；

基于所述日志传输端口获取所述作业处理进程处理所述作业处理请求过程中产生的作业处理日志；

将所述作业处理日志写入外部文件存储。

8.根据权利要求1所述的方法，其中，所述容器管理平台为Kubernetes，所述作业处理进程属于Flink。

9.一种流式作业处理装置，所述装置包括：

作业逻辑文件确定模块，用于响应于待处理的作业处理请求，确定与所述作业处理请求关联的作业逻辑文件；

作业处理容器组创建模块，用于为作业处理进程创建作业处理容器组；

作业逻辑文件挂载模块，用于通过所述作业处理容器组将所述作业逻辑文件挂载到容器管理平台的容器镜像目录；

作业处理请求处理模块，用于基于挂载有作业逻辑文件的容器镜像目录对所述作业处理请求进行处理。

10.根据权利要求9所述的装置，其中，所述作业逻辑文件挂载模块，包括：

作业逻辑文件下载子模块，用于通过作业处理容器组中的初始化容器将所述作业逻辑文件下载到临时挂载目录；

作业逻辑文件软链接子模块，用于通过作业处理容器组中的业务容器，将所述临时挂载目录中的作业逻辑文件软链接到容器管理平台的容器镜像目录。

11.根据权利要求9所述的装置，其中，所述作业处理进程包括任务管理器进程和作业管理器进程；所述作业处理容器组包括任务管理器容器组和作业管理器容器组；

所述作业处理容器组创建模块，包括：

资源描述文件构造子模块，用于基于所述作业处理请求为所述任务管理器进程和所述作业管理器进程构造资源描述文件；

任务管理器容器组创建子模块，用于基于所述资源描述文件，请求所述容器管理平台为所述任务管理器进程创建任务管理器容器组；

作业管理器容器组创建子模块，用于基于所述资源描述文件和所述作业逻辑文件，所述任务管理器进程请求所述容器管理平台为作业管理器进程创建作业管理器容器组。

12.根据权利要求11所述的装置，其中，所述作业管理器容器组创建子模块，包括：

需求量确定单元，用于基于所述作业逻辑文件和所述资源描述文件中的作业执行参数，所述任务管理器进程确定作业管理器进程的需求量；

作业管理器容器组创建单元，用于基于所述资源描述文件和所述作业管理器进程的需求量，所述任务管理器进程请求所述容器管理平台为所述作业管理器进程创建作业管理器容器组。

13.根据权利要求9所述的装置，其中，所述作业处理进程包括任务管理器进程和作业管理器进程；所述作业处理容器组包括任务管理器容器组和作业管理器容器组；

所述作业处理请求处理模块，包括：

作业逻辑文件解析子模块，用于基于所述容器镜像目录，所述任务管理器进程加载所述作业逻辑文件并对所述作业逻辑文件进行解析得到所述作业逻辑文件的作业执行拓扑；

目标作业操作确定子模块，用于基于所述作业执行拓扑，所述任务管理器进程确定待执行的目标作业操作；

数据读写地址确定子模块，用于若所述目标作业操作涉及针对于目标虚拟私有云的数据读写操作，则通过所述任务管理器进程调用挂载在所述任务管理器容器组的弹性网卡确定所述目标虚拟私有云中的数据读写地址；

相关数据发送子模块，用于将所述数据读写地址和所述作业执行拓扑，发给所述作业管理器容器组中的作业管理器进程；

作业处理请求处理子模块，用于基于所述作业执行拓扑和所述数据读写地址，所述作业管理器进程调用挂载在所述作业管理器容器组的弹性网卡执行目标作业操作以对所述作业处理请求进行处理；

其中，所述弹性网卡基于目标虚拟私有云的虚拟私有云标识和虚拟私有云路由预先创建，并挂载到所述任务管理器容器组和所述作业管理器容器组。

14.根据权利要求9所述的装置，所述装置还包括：

弹性网卡创建模块，用于基于所述作业处理请求关联的虚拟私有云标识和虚拟私有云路由确定待访问的目标虚拟私有云，并在所述目标虚拟私有云中创建弹性网卡；

弹性网卡挂载模块，用于将所述目标虚拟私有云的弹性网卡挂载到所述作业处理容器组，以供所述作业处理进程基于所述弹性网卡访问所述目标虚拟私有云中的数据源进程。

15.根据权利要求9所述的装置，所述装置还包括：

日志传输端口确定模块，用于基于挂载在所述作业处理容器组的预设日志配置文件，所述作业处理进程确定日志传输端口；

作业处理日志获取模块，用于基于所述日志传输端口获取所述作业处理进程处理所述作业处理请求过程中产生的作业处理日志；

作业处理日志写入模块，用于将所述作业处理日志写入外部文件存储。

16.根据权利要求9所述的装置，其中，所述容器管理平台为Kubernetes，所述作业处理进程属于Flink。

17.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行根据权利要求1-8中任一项所述的流式作业处理方法。

18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据权利要求1-8中任一项所述的流式作业处理方法。

19.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-8中任一项所述的流式作业处理方法。