CN112965767B - 作业的处理方法和装置、电子设备和存储介质 - Google Patents

Abstract

本申请提供了一种作业的处理方法和装置、电子设备和存储介质，其中，该方法包括：获取第一执行命令，其中，第一执行命令中携带有用于标识目标存储对象的目标标识信息，目标存储对象是存储有目标作业信息的对象，目标作业信息为待运行的代码程序；通过执行第一执行命令，调用目标应用程序；通过目标应用程序从目标标识信息所标识的目标存储对象中读取目标作业信息；通过目标应用程序运行目标作业信息，得到目标作业信息的运行结果。通过本申请，解决了相关技术中通过压缩用户参数来缩减命令行长度的方式存在的命令执行成功率低的问题。

Description

作业的处理方法和装置、电子设备和存储介质

技术领域

本申请涉及数据处理领域，尤其涉及一种作业的处理方法和装置、电子设备和存储介质。

背景技术

在实时计算平台中，允许用户在线编写sql(Structured Query Language，结构化查询语言)或者代码来构建flink(一种分布式流数据流引擎)作业。前端将用户代码传给后端程序，后端程序会将这些参数(用户代码)拼装到flink命令的后边，例如：flink run"用户代码"，最终在Linux(一种操作系统)中执行这段命令。

由于Linux shell(一个应用程序，连接用户和Linux内核)输入命令行的长度是有限制的，在命令过长时存在被拒绝执行的风险。如果用户代码很大，则可能会出现由于Linux shell命令行很长，造成命令执行失败。相关技术中，一般采取压缩用户参数(例如，字符串)的方式来缩减命令行长度，然而，如果用户的作业很复杂，有大量的用户代码，依然会存在命令执行失败的可能。其他采用类似方式执行用户代码的实时计算网络架构中同样存在上述问题。

由此可见，相关技术中通过压缩用户参数来缩减命令行长度的方式，存在命令执行成功率低的问题。

发明内容

本申请提供了一种作业的处理方法和装置、电子设备和存储介质，以至少解决相关技术中通过压缩用户参数来缩减命令行长度的方式存在的命令执行成功率低的问题。

根据本申请实施例的一个方面，提供了一种作业的处理方法，包括：获取第一执行命令，其中，所述第一执行命令中携带有用于标识目标存储对象的目标标识信息，所述目标存储对象是存储有目标作业信息的对象，所述目标作业信息为待运行的代码程序；通过执行所述第一执行命令，调用目标应用程序；从所述目标标识信息所标识的所述目标存储对象中读取所述目标作业信息；通过所述目标应用程序运行所述目标作业信息，得到所述目标作业信息的运行结果。

可选地，从所述目标标识信息所标识的所述目标存储对象中读取所述目标作业信息包括：在所述目标标识信息为所述目标存储对象的对象名的情况下，将所述目标存储对象的对象名和目标存储路径进行组合，得到目标对象路径，其中，所述目标存储路径为所述目标存储对象的默认存储路径；从所述目标对象路径所指示的所述目标存储对象中读取所述目标作业信息。

可选地，在将所述目标存储对象的对象名和目标存储路径进行组合之前，所述方法还包括：从所述目标存储对象的对象名中提取出目标对象标识，其中，所述目标对象标识是上传所述目标作业信息的目标对象的对象标识；根据对象标识与默认存储路径之间的对应关系，确定与所述目标对象标识所对应的所述目标存储路径。

可选地，在获取所述第一执行命令之前，所述方法还包括：接收目标对象上传的所述目标作业信息；在所述目标作业信息的数据量大于或者等于目标数据量阈值的情况下，将所述目标作业信息存储到所述目标存储对象中；生成所述第一执行命令。

可选地，接收目标对象上传的所述目标作业信息包括：通过目标设备接收所述目标对象上传的所述目标作业信息，其中，所述目标设备用于执行实时计算作业的生命周期的维护操作，所述目标作业信息是目标实时计算作业的作业信息。

可选地，在接收所述目标对象上传的所述目标作业信息之后，所述方法还包括：在所述目标作业信息的数据量小于所述目标数据量阈值的情况下，生成第二执行命令，其中，所述第二执行命令中携带有所述目标作业信息；通过执行所述第二执行命令，调用所述目标应用程序；通过所述目标应用程序运行所述目标作业信息，得到所述目标作业信息的运行结果。

可选地，从所述目标标识信息所标识的所述目标存储对象中读取所述目标作业信息包括：向目标存储设备发送目标请求消息，其中，所述目标请求消息用于请求获取所述目标作业信息，所述目标存储设备中存储有所述目标存储对象；接收所述目标存储设备响应所述目标请求消息所返回的所述目标作业信息。

根据本申请实施例的另一个方面，还提供了一种作业的处理装置，包括：获取单元，用于获取第一执行命令，其中，所述第一执行命令中携带有用于标识目标存储对象的目标标识信息，所述目标存储对象是存储有目标作业信息的对象，所述目标作业信息为待运行的代码程序；第一调用单元，用于通过执行所述第一执行命令，调用目标应用程序；读取单元，用于从所述目标标识信息所标识的所述目标存储对象中读取所述目标作业信息；第一运行单元，用于通过所述目标应用程序运行所述目标作业信息，得到所述目标作业信息的运行结果。

可选地，所述读取单元包括：组合模块，用于在所述目标标识信息为所述目标存储对象的对象名的情况下，将所述目标存储对象的对象名和目标存储路径进行组合，得到目标对象路径，其中，所述目标存储路径为所述目标存储对象的默认存储路径；读取模块，用于从所述目标对象路径所指示的所述目标存储对象中读取所述目标作业信息。

可选地，所述装置还包括：提取单元，用于在将所述目标存储对象的对象名和所述目标存储路径进行组合之前，从所述目标存储对象的对象名中提取出目标对象标识，其中，所述目标对象标识是上传所述目标作业信息的目标对象的对象标识；确定单元，用于根据对象标识与默认存储路径之间的对应关系，确定与所述目标对象标识所对应的所述目标存储路径。

可选地，所述装置还包括：接收单元，用于在获取所述第一执行命令之前，接收目标对象上传的所述目标作业信息；存储单元，用于在所述目标作业信息的数据量大于或者等于目标数据量阈值的情况下，将所述目标作业信息存储到所述目标存储对象中；第一生成单元，用于生成所述第一执行命令。

可选地，所述接收单元包括：接收模块，用于通过目标设备接收所述目标对象上传的所述目标作业信息，其中，所述目标设备用于执行实时计算作业的生命周期的维护操作，所述目标作业信息是目标实时计算作业的作业信息。

可选地，所述装置还包括：第二生成单元，用于在接收所述目标对象上传的所述目标作业信息之后，在所述目标作业信息的数据量小于所述目标数据量阈值的情况下，生成第二执行命令，其中，所述第二执行命令中携带有所述目标作业信息；第二调用单元，用于通过执行所述第二执行命令，调用所述目标应用程序；第二运行单元，用于通过所述目标应用程序运行所述目标作业信息，得到所述目标作业信息的运行结果。

可选地，所述读取单元包括：发送模块，用于向目标存储设备发送目标请求消息，其中，所述目标请求消息用于请求获取所述目标作业信息，所述目标存储设备中存储有所述目标存储对象；接收模块，用于接收所述目标存储设备响应所述目标请求消息所返回的所述目标作业信息。

根据本申请实施例的又一个方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；其中，存储器，用于存储计算机程序；处理器，用于通过运行所述存储器上所存储的所述计算机程序来执行上述任一实施例中的方法步骤。

根据本申请实施例的又一个方面，还提供了一种计算机可读的存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一实施例中的方法步骤。

在本申请实施例中，采用将用户代码参数保存为存储对象中、并在命令行中指定存储对象的方式，通过获取第一执行命令，其中，第一执行命令中携带有用于标识目标存储对象的目标标识信息，目标存储对象是存储有目标作业信息的对象，目标作业信息为待运行的代码程序；通过执行第一执行命令，调用目标应用程序；从目标标识信息所标识的目标存储对象中读取目标作业信息；通过目标应用程序运行目标作业信息，得到目标作业信息的运行结果，由于存储对象的标识信息的长度是有限的，使用存储对象的标识信息所拼接的命令行的长度可以控制在一个较小的范围内，从而可以实现有效缩减命令行长度的目的，达到了提高命令执行的成功率的技术效果，进而解决了相关技术中通过压缩用户参数来缩减命令行长度的方式存在的命令执行成功率低的问题。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是根据本申请实施例的一种可选的作业的处理方法的硬件环境的示意图；

图2是根据本申请实施例的一种可选的作业的处理方法的流程示意图；

图3是根据本申请实施例的一种可选的实时计算网络架构的示意图；

图4是根据本申请实施例的另一种可选的实时计算网络架构的示意图；

图5是根据本申请实施例的另一种可选的作业的处理方法的流程示意图；

图6是根据本申请实施例的一种可选的作业的处理装置的结构框图；

图7是根据本申请实施例的一种可选的电子设备的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本申请实施例的一个方面，提供了一种作业的处理方法。可选地，在本实施例中，上述作业的处理方法可以应用于如图1所示的由终端102和服务器104所构成的硬件环境中。如图1所示，服务器104通过网络与终端102进行连接，可用于为终端或终端上安装的客户端提供服务(如游戏服务、应用服务等)。在应用中，可以在服务器104上或独立于服务器104设置数据库，用于为服务器104提供数据存储服务。

上述网络可以包括但不限于以下至少之一：有线网络，无线网络。上述有线网络可以包括但不限于以下至少之一：广域网，城域网，局域网，上述无线网络可以包括但不限于以下至少之一：WIFI(Wireless Fidelity，无线保真)，蓝牙。终端102可以并不限定于为PC(Personal Computer，个人计算机)、手机、平板电脑等。

本申请实施例的作业的处理方法可以由服务器104来执行，也可以由终端102来执行，还可以是由服务器104和终端102共同执行。其中，终端102执行本申请实施例的作业的处理方法也可以是由安装在其上的客户端来执行。

以由服务器104来执行本实施例中的作业的处理方法为例，图2是根据本申请实施例的一种可选的作业的处理方法的流程示意图，如图2所示，该方法的流程可以包括以下步骤：

步骤S202，获取第一执行命令，其中，第一执行命令中携带有用于标识目标存储对象的目标标识信息，目标存储对象是存储有待执行的目标作业信息的对象，目标作业信息为待运行的代码程序。

本实施例中的作业的处理方法可以应用于实时计算网络架构等具有作业执行需求的场景。该实时计算网络架构可以包括实时计算平台端和实时计算服务端。实时计算平台(实时计算客户端)可以是提供给用户构建实时计算作业能力的一个用户操作平台，该平台可以是大数据平台。实时计算服务端(实时计算服务器)可以是提供实时计算作业执行能力、实时计算作业生命周期维护能力等的服务平台。本实施例中的作业的处理方法可以是由目标服务器(例如，Linux服务器)执行的，该目标服务器可以是实时计算服务端的实时计算服务器。

实时计算客户端可以运行在用户的终端设备上，在该终端设备上可以显示有用户开发页面。实时计算客户端可以获取用户的作业信息(例如，用户代码)，并将获取的作业信息传输给实时计算服务端上的后端程序。后端程序可以执行该作业信息，得到该作业信息的执行结果。

例如，目标客户端可以获取目标对象的目标作业信息，并将该目标作业信息传输给实时计算服务端，其中，目标作业信息为待运行的代码程序。该目标对象对应于使用该目标客户端的目标用户，可以通过目标客户端的标识、登录目标客户端所使用的目标帐号等进行标识。

相关技术中，执行作业信息的方式为：将这些参数拼装到执行命令的后边，通过应用程序执行拼装后的命令。由于应用程序中的命令行的长度是有限制的，在命令过长时存在被拒绝执行的风险。

如图3所示，实时计算网络架构包括实时计算平台、实时计算服务和Linux服务器，其中，实时计算平台是提供给用户构建实时计算作业能力的一个用户操作平台，实时计算服务是提供维护实时计算作业生命周期的相关操作的设备，而Linux服务器上可以用于执行flink命令，其他可以用于有目标应用程序(例如，flink应用程序)。

实时计算平台可以包含用户开发界面，该用户开发界面可以根据用户在线编写的sql或者代码来构建flink作业，并将作业信息传输给实时计算服务。实时计算服务可以将作业信息拼装到flink命令的后边，生成执行命令，生成的执行命令中可以携带作业信息，例如，flink run“大量用户代码”。实时计算服务可以将执行命令发送给Linux服务器。

Linux服务器可以执行实时计算服务发送的执行命令，得到该执行命令的执行结果。由于Linux shell输入命令行的长度是有限制的，如果命令过长，该执行命令可能会被拒绝执行。

为了克服上述问题，在本实施例中，在生成执行命令时，可以将作业信息存储到存储对象中，并在命令行中携带存储对象的标识信息。

对于待执行的目标作业信息，该目标作业信息可以被存储到目标存储对象(例如，目标存储文件)中，该目标存储对象是存储有目标作业信息的对象(例如，文件)。目标存储对象可以通过目标标识信息进行标识，该目标标识信息可以用于定位目标存储对象。为目标作业信息生成的第一执行命令中可以携带目标标识信息而不是目标作业信息，该第一执行命令可以被目标服务器获取到。

需要说明的是，目标标识信息可以位于第一执行命令的目标位置上，例如，目标标识信息位于第一执行命令的最后，本实施例中对此不作限定。

例如，第一执行命令可以是一个命令行，一个完整的命令行可以是：flink runxxxx app.jar test.json，其中，“xxxx”代表一些flink参数，“app.jar”是一个公共的框架类的应用程序，相当于一个模板，根据用户的作业信息，会生成出相应的应用程序来，而“test.json”是存放作业信息的作业信息文件的文件名，其是目标标识信息的一种示例。

步骤S204，通过执行第一执行命令，调用目标应用程序。

在获取到第一执行命令之后，目标服务器可以执行该第一执行命令，第一执行命令在执行时可以调用目标应用程序。

例如，运行上述命令行“flink run xxxx app.jar test.json”之后，app.jar就会运行，此时会去读取test.json。

步骤S206，从目标标识信息所标识的目标存储对象中读取目标作业信息。

由于第一执行命令中包含了目标标识信息，标识的是目标存储对象，而不是可运行的代码程序，目标服务器(或者，目标服务器上的目标应用程序)可以从目标标识信息所标识的目标存储对象中读取目标作业信息。例如，可以通过该目标标识信息定位到该目标存储对象，并从目标存储对象中读取出目标作业信息。

步骤S208，通过目标应用程序运行目标作业信息，得到目标作业信息的运行结果。

由于读取到的目标作业信息是可运行的代码程序，目标应用程序可以运行目标作业信息，得到目标作业信息的运行结果。

例如，app.jar可以将test.json里的作业信息填充到自己的应用程序中，在根据作业信息做相应的逻辑，最后输出运行结果。

在得到目标作业信息的运行结果之后，目标服务器可以将其进行存储。可选地，目标服务器也可以通过实时计算平台向目标对象展示目标作业信息的运行结果，例如，可以通过目标客户端的目标展示界面展示目标作业信息的运行结果。

如果目标作业信息的运行结果用于目标作业信息运行失败，在目标用户调试之后，目标客户端可以重新上传新的作业信息。上传新的作业信息之后，目标服务器可以获取到新的执行命令。新的执行命令的执行过程可以与前述第一执行命令的执行过程类似，在此不做赘述。

通过上述步骤S202至步骤S208，获取第一执行命令，其中，第一执行命令中携带有用于标识目标存储对象的目标标识信息，目标存储对象是存储有目标作业信息的对象，目标作业信息为待运行的代码程序；通过执行第一执行命令，调用目标应用程序；通过目标应用程序从目标标识信息所标识的目标存储对象中读取目标作业信息；通过目标应用程序运行目标作业信息，得到目标作业信息的运行结果，解决了相关技术中通过压缩用户参数来缩减命令行长度的方式存在的命令执行成功率低的问题，提高了命令执行的成功率。

作为一种可选的实施例，从目标标识信息所标识的目标存储对象中读取目标作业信息包括：

S11，在目标标识信息为目标存储对象的对象名的情况下，将目标存储对象的对象名和目标存储路径进行组合，得到目标对象路径，其中，目标存储路径为目标存储对象的默认存储路径；

S12，从目标对象路径所指示的目标存储对象中读取目标作业信息。

目标标识信息可以有多种形式，只要可以定位到目标存储对象的标识信息，均可应用到本实施例中，例如，目标标识信息可以是目标存储对象的对象路径(即，完整路径)，又例如，目标标识信息也可以是目标存储对象的对象名。

如果目标标识信息为目标存储对象的对象名，目标服务器可以获取与该目标存储对象的对象名匹配的目标存储路径。目标存储路径是目标存储对象的默认存储路径，该默认存储路径可以保存在配置文件、或者其他文件中。

在得到目标存储路径之后，目标服务器可以将目标存储对象的对象名和目标存储路径进行组合，组合出目标对象路径。组合目标存储对象的对象名和目标存储路径的方式可以按照需要进行设定，例如，可以将目标存储对象的对象名添加到目标存储路径之后，又例如，可以先在目标存储对象的对象名之前添加目标分割符，再将目标存储对象的对象名添加到目标存储路径之后。

例如，目标存储文件的文件名为“test.json”，目标存储路径为“user/租户id/作业id/sslib/”，可以将目标存储文件的文件名直接添加到目标存储路径最后，得到目标对象路径“user/租户id/作业id/sslib/test.json”。

又例如，目标存储文件的文件名为“test.json”，目标存储路径为“user/租户id/作业id/sslib”，可以先在目标存储文件的文件名之前添加“/”，再将目标存储文件的文件名添加到目标存储路径最后，得到目标对象路径“user/租户id/作业id/sslib/test.json”。

在得到目标对象路径之后，目标服务器可以使用该目标对象路径定位到目标存储对象，从而从目标存储对象中读取目标作业信息。

通过本实施例，通过存储对象的对象名定位存储对象，可以减少执行命令的长度，提高命令执行的成功率。

作为一种可选的实施例，在将目标存储对象的对象名和目标存储路径进行组合之前，上述方法还包括：

S21，从目标存储对象的对象名中提取出目标对象标识，其中，目标对象标识是上传目标作业信息的目标对象的对象标识；

S22，根据对象标识与默认存储路径之间的对应关系，确定与目标对象标识所对应的目标存储路径。

为了提高存储资源利用的合理性，同时方便作业信息管理，可以将使用多个存储路径存储多个对象的作业信息，一个对象的作业信息可以存储在一个存储路径所对应的位置，每个存储路径可以用于存储至少一个对象的作业信息。

为了提高存储路径确认的便捷性，可以在目标存储对象的对象名中携带目标对象的对象标识。目标对象的对象标识可以用于表征该目标对象，两者可以是一一对应关系，也可以是一对多个的关系，例如，一个对象标识可以表征多个对象。

例如，可以使用相同对象标识(例如，组名等)来标识同一个对象组中的所有对象，而同一个对象组中的所有对象的作业信息可以存储到相同的存储路径内，例如，同一个文件夹中。

目标服务器可以从目标存储对象的对象名中提取出目标对象标识，并基于对象标识和默认存储路径之间的对应关系，确定与目标对象标识所对应的目标存储路径。

例如，目标存储文件的文件名为“user1.json”，其中，“user1”为目标用户的用户名，目标服务器可以基于用户名和默认存储路径的对应关系，确定与目标用户的用户名所对应的默认存储路径。

通过本实施例，通过在存储对象的对象名中携带上传作业信息的用户标识，并根据用户标识匹配默认存储路径，可以提高存储资源利用的合理性，也可以提高默认存储路径确定的便捷性。

作为一种可选的实施例，在获取第一执行命令之前，上述方法还包括：

S31，接收目标对象上传的目标作业信息；

S32，在目标作业信息的数据量大于或者等于目标数据量阈值的情况下，将目标作业信息存储到目标存储对象中；

S33，生成第一执行命令。

目标作业信息可以是由目标客户端上传，该目标客户端可以是目标对象的客户端。在实时计算服务端中，接收目标作业信息的可以是目标设备，该目标设备可以是目标服务器，也可以是除了目标服务器以外的其他设备。

目标设备可以接收目标对象上传的目标作业信息，并判断该目标作业信息的数据量是否超过目标数据量阈值。如果目标作业信息的数据量超过目标数据量阈值，目标设备可以确定：如果使用该目标作业信息直接生成执行命令，存在由于执行命令的命令行过长导致命令无法执行的风险较大。

在目标作业信息的数据量超过目标数据量阈值的情况下，目标设备可以将目标作业信息存储到目标存储对象中，并生成第一执行命令。生成第一执行命令的方式可以是：将目标标识信息直接拼装到执行命令的后边。

例如，如果用户代码过长，可以将用户代码参数保存为文件，命令行中指定文件。优化前的命令行可以是：flink run“大量的用户代码”，优化后的命令行可以是：flink run“test.json”。

通过本实施例，按照作业信息的信息长度控制将作业信息存储到存储对象中，可以保证作业信息存储的合理性，同时也可以提高资源利用的合理性。

作为一种可选的实施例，接收目标对象上传的目标作业信息包括：

S41，通过目标设备接收目标对象上传的目标作业信息，其中，目标设备用于执行实时计算作业的生命周期的维护操作，目标作业信息是目标实时计算作业的作业信息。

对于分布式场景，为了保证可用性，可以将作业信息的接收设备和执行命令的执行设备配置为不同的设备，即，目标设备是除了目标服务器以外的其他设备。目标设备可以接收目标对象上传的目标作业信息，该目标作业信息是目标实时计算作业的作业信息。

目标设备可以用于执行实时计算作业的生命周期的维护操作，例如，在实时计算作业的生命周期内保证该实时计算作业的有效性。这里，一个实时计算作业的生命周期是指该实时计算作业从启动到终止的全过程。此外，目标设备也可以用于进行清理超过生命周期(即，已经终止的实时计算作业)的实时计算作业，例如，目标设备可以在实时计算作业的已经终止之后，触发清理实时计算作业的流程。

通过本实施例，通过用于执行实时计算作业的生命周期的维护操作的设备接收传输的作业信息，并基于作业信息生成执行命令，可以应用于分布式场景，保证设备的可用性。

作为一种可选的实施例，在接收目标对象上传的目标作业信息之后，上述方法还包括：

S51，在目标作业信息的数据量小于目标数据量阈值的情况下，生成第二执行命令，其中，第二执行命令中携带有目标作业信息；

S52，通过执行第二执行命令，调用目标应用程序；

S53，通过目标应用程序运行目标作业信息，得到目标作业信息的运行结果。

如果目标作业信息的数据量小于目标数据量阈值，目标设备可以确定：如果使用该目标作业信息直接生成执行命令，存在由于执行命令的命令行过长导致命令无法执行的风险较低。此时，目标设备可以直接将目标作业信息拼装到执行命令的后面，得到第二执行命令。

如果目标设备和目标服务器为同一设备，则目标设备可以直接执行第二执行命令，通过执行第二执行命令，调用目标应用程序，并通过目标应用程序运行目标作业信息，得到目标作业信息的运行结果。如果目标设备和目标服务器为不同设备，目标设备可以向目标服务器发送第二执行命令。目标服务器在接收到第二执行命令之后，可以通过执行第二执行命令，调用目标应用程序，并通过目标应用程序运行目标作业信息，得到目标作业信息的运行结果。目标应用程序运行目标作业信息的方式与前述类似，在此不作赘述。

通过本实施例，在作业信息的信息长度较短时，直接使用该作业信息生成执行命令，可以减少对存储资源的占用，简化命令的执行步骤，提高作业信息的运行效率。

作为一种可选的实施例，从目标标识信息所标识的目标存储对象中读取目标作业信息包括：

S61，向目标存储设备发送目标请求消息，其中，目标请求消息用于请求获取目标作业信息，目标存储设备中存储有目标存储对象；

S62，接收目标存储设备响应目标请求消息所返回的目标作业信息。

目标存储对象可以存储在设备本地，例如，目标服务器本地，目标设备本地。对于分布式场景，可以将目标存储对象存储在外部的存储设备中，以提高设备的可用性。

在本实施例中，目标存储对象可以存储在目标存储设备中，该目标存储设备可以是分布式文件系统中的设备，例如，HDFS(Hadoop Distributed File System，一种分布式文件系统)中的设备。

目标服务器可以向目标存储设备发送目标请求消息，该目标请求消息可以携带有用于目标存储设备定位目标存储对象的目标对象信息(例如，目标对象路径)。目标存储设备在接收到目标请求消息之后，可以根据目标对象信息定位到目标存储对象，从目标存储对象中读取出目标作业信息，并将读取到的目标作业信息返回给目标服务器。目标服务器可以接收目标存储设备返回的目标作业信息，从而使用目标作业信息执行后续的处理操作。

通过实施例，通过使用存储设备中的存储对象存储作业信息，可以适用于分布式场景，保证设备的可用性。

下面结合可选示例对本申请实施例中的作业的处理方法进行解释说明。在本示例中，目标存储对象为作业信息文件，目标设备为前述实时计算服务，目标服务器为Linux服务器，目标存储设备为HDFS系统中的设备。

本示例中的作业的处理方法可以应用于如图4所示的网络架构，该网络架构是在如图3中的网络架构中添加用于存储作业信息文件的HDFS得到的，其中的用户开发页面、实时计算服务、Linux服务器和flink应用程序与前述类似，在此不做赘述。

在本示例中提供的是一种处理flink命令参数过长的方案，将用户代码参数保存为文件，命令行中指定文件，后端程序去读取文件内容，大量的用户代码使用一个文件名代替，可以解决由于参数过长导致命令行不能执行的问题。

如图5所示，本可选示例中的作业的处理方法的流程可以包括以下步骤：

步骤S502，实时计算服务接收用户通过用户开发页面上传的作业信息。

步骤S504，实时计算服务将作业信息存储到作业信息文件(test.json)中，并将作业信息文件存储到HDFS中。

步骤S506，实时计算服务生成执行命令(flink run test.json)，该执行命令中携带有文件信息，并将执行命令发送给Linux服务器。

步骤S508，Linux服务器可以执行该执行命令，调用flink应用程序，从HDFS读取作业信息文件中的作业信息，并通过flink应用程序运行得到的作业信息。

通过本示例，将大量的用户代码使用一个文件名代替，可以解决由于参数过长导致命令行不能执行的问题。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM(Read-Only Memory，只读存储器)/RAM(Random Access Memory，随机存取存储器)、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

根据本申请实施例的另一个方面，还提供了一种用于实施上述作业的处理方法的作业的处理装置。图6是根据本申请实施例的一种可选的作业的处理装置的结构框图，如图6所示，该装置可以包括：

获取单元602，用于获取第一执行命令，其中，第一执行命令中携带有用于标识目标存储对象的目标标识信息，目标存储对象是存储有目标作业信息的对象，目标作业信息为待运行的代码程序；

第一调用单元604，与获取单元602相连，用于通过执行第一执行命令，调用目标应用程序；

读取单元606，与第一调用单元604相连，用于从目标标识信息所标识的目标存储对象中读取目标作业信息；

第一运行单元608，与读取单元606相连，用于通过目标应用程序运行目标作业信息，得到目标作业信息的运行结果。

需要说明的是，该实施例中的获取单元602可以用于执行上述步骤S202，该实施例中的第一调用单元604可以用于执行上述步骤S204，该实施例中的读取单元606可以用于执行上述步骤S206，该实施例中的第一运行单元608可以用于执行上述步骤S208。

通过上述模块，获取第一执行命令，其中，第一执行命令中携带有用于标识目标存储对象的目标标识信息，目标存储对象是存储有目标作业信息的对象，目标作业信息为待运行的代码程序；通过执行第一执行命令，调用目标应用程序；通过目标应用程序从目标标识信息所标识的目标存储对象中读取目标作业信息；通过目标应用程序运行目标作业信息，得到目标作业信息的运行结果，解决了相关技术中通过压缩用户参数来缩减命令行长度的方式存在的命令执行成功率低的问题，提高了命令执行的成功率。

作为一种可选的实施例，读取单元606包括：

组合模块，用于在目标标识信息为目标存储对象的对象名的情况下，将目标存储对象的对象名和目标存储路径进行组合，得到目标对象路径，其中，目标存储路径为目标存储对象的默认存储路径；

读取模块，用于从目标对象路径所指示的目标存储对象中读取目标作业信息。

作为一种可选的实施例，上述装置还包括：

提取单元，用于在将目标存储对象的对象名和目标存储路径进行组合之前，从目标存储对象的对象名中提取出目标对象标识，其中，目标对象标识是上传目标作业信息的目标对象的对象标识；

确定单元，用于根据对象标识与默认存储路径之间的对应关系，确定与目标对象标识所对应的目标存储路径。

作为一种可选的实施例，上述装置还包括：

接收单元，用于在获取第一执行命令之前，接收目标对象上传的目标作业信息；

存储单元，用于在目标作业信息的数据量大于或者等于目标数据量阈值的情况下，将目标作业信息存储到目标存储对象中；

第一生成单元，用于生成第一执行命令。

作为一种可选的实施例，接收单元包括：

接收模块，用于通过目标设备接收目标对象上传的目标作业信息，其中，目标设备用于执行实时计算作业的生命周期的维护操作，目标作业信息是目标实时计算作业的作业信息。

作为一种可选的实施例，上述装置还包括：

第二生成单元，用于在接收目标对象上传的目标作业信息之后，在目标作业信息的数据量小于目标数据量阈值的情况下，生成第二执行命令，其中，第二执行命令中携带有目标作业信息；

第二调用单元，用于通过执行第二执行命令，调用目标应用程序；

第二运行单元，用于通过目标应用程序运行目标作业信息，得到目标作业信息的运行结果。

作为一种可选的实施例，读取单元606包括：

发送模块，用于向目标存储设备发送目标请求消息，其中，目标请求消息用于请求获取目标作业信息，目标存储设备中存储有目标存储对象；

接收模块，用于接收目标存储设备响应目标请求消息所返回的目标作业信息。

此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图1所示的硬件环境中，可以通过软件实现，也可以通过硬件实现，其中，硬件环境包括网络环境。

根据本申请实施例的又一个方面，还提供了一种用于实施上述作业的处理方法的电子设备，该电子设备可以是服务器、终端、或者其组合。

图7是根据本申请实施例的一种可选的电子设备的结构框图，如图7所示，包括处理器702、通信接口704、存储器706和通信总线708，其中，处理器702、通信接口704和存储器706通过通信总线708完成相互间的通信，其中，

存储器706，用于存储计算机程序；

处理器702，用于执行存储器706上所存放的计算机程序时，实现如下步骤：

S1，获取第一执行命令，其中，第一执行命令中携带有用于标识目标存储对象的目标标识信息，目标存储对象是存储有目标作业信息的对象，目标作业信息为待运行的代码程序；

S2，通过执行第一执行命令，调用目标应用程序；

S3，从目标标识信息所标识的目标存储对象中读取目标作业信息；

S4，通过目标应用程序运行目标作业信息，得到目标作业信息的运行结果。

可选地，在本实施例中，上述的通信总线可以是PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线、或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括RAM，也可以包括非易失性存储器(non-volatile memory)，例如，至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。

作为一种示例，上述存储器706中可以但不限于包括上述作业的处理装置中的获取单元602、第一调用单元604、读取单元606以及第一运行单元608。此外，还可以包括但不限于上述作业的处理装置中的其他模块单元，本示例中不再赘述。

上述处理器可以是通用处理器，可以包含但不限于：CPU(Central ProcessingUnit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(DigitalSignal Processing，数字信号处理器)、ASIC(Application Specific IntegratedCircuit，专用集成电路)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。

本领域普通技术人员可以理解，图7所示的结构仅为示意，实施上述作业的处理方法的设备可以是终端设备。图7其并不对上述电子设备的结构造成限定。例如，电子设备还可包括比图7中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图7所示的不同的配置。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、ROM、RAM、磁盘或光盘等。

根据本申请实施例的又一个方面，还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于执行本申请实施例中上述任一项作业的处理方法的程序代码。

可选地，在本实施例中，上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。

可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：

S1，获取第一执行命令，其中，第一执行命令中携带有用于标识目标存储对象的目标标识信息，目标存储对象是存储有目标作业信息的对象，目标作业信息为待运行的代码程序；

S2，通过执行第一执行命令，调用目标应用程序；

S3，从目标标识信息所标识的目标存储对象中读取目标作业信息；

S4，通过目标应用程序运行目标作业信息，得到目标作业信息的运行结果。

可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例中对此不再赘述。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、ROM、RAM、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例中所提供的方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (9)

1.一种作业的处理方法，其特征在于，包括：

获取第一执行命令，其中，所述第一执行命令中携带有用于标识目标存储对象的目标标识信息，所述目标存储对象是存储有目标作业信息的对象，所述目标作业信息为待运行的代码程序；

通过执行所述第一执行命令，调用目标应用程序；

从所述目标标识信息所标识的所述目标存储对象中读取所述目标作业信息；

通过所述目标应用程序运行所述目标作业信息，得到所述目标作业信息的运行结果；

其中，从所述目标标识信息所标识的所述目标存储对象中读取所述目标作业信息包括：在所述目标标识信息为所述目标存储对象的对象名的情况下，将所述目标存储对象的对象名和目标存储路径进行组合，得到目标对象路径，其中，所述目标存储路径为所述目标存储对象的默认存储路径；从所述目标对象路径所指示的所述目标存储对象中读取所述目标作业信息。

2.根据权利要求1所述的方法，其特征在于，在将所述目标存储对象的对象名和目标存储路径进行组合之前，所述方法还包括：

从所述目标存储对象的对象名中提取出目标对象标识，其中，所述目标对象标识是上传所述目标作业信息的目标对象的对象标识；

根据对象标识与默认存储路径之间的对应关系，确定与所述目标对象标识所对应的所述目标存储路径。

3.根据权利要求1所述的方法，其特征在于，在获取所述第一执行命令之前，所述方法还包括：

接收目标对象上传的所述目标作业信息；

在所述目标作业信息的数据量大于或者等于目标数据量阈值的情况下，将所述目标作业信息存储到所述目标存储对象中；

生成所述第一执行命令。

4.根据权利要求3所述的方法，其特征在于，接收所述目标对象上传的所述目标作业信息包括：

通过目标设备接收所述目标对象上传的所述目标作业信息，其中，所述目标设备用于执行实时计算作业的生命周期的维护操作，所述目标作业信息是目标实时计算作业的作业信息。

5.根据权利要求3所述的方法，其特征在于，在接收所述目标对象上传的所述目标作业信息之后，所述方法还包括：

在所述目标作业信息的数据量小于所述目标数据量阈值的情况下，生成第二执行命令，其中，所述第二执行命令中携带有所述目标作业信息；

通过执行所述第二执行命令，调用所述目标应用程序；

通过所述目标应用程序运行所述目标作业信息，得到所述目标作业信息的运行结果。

6.根据权利要求1至5中任一项所述的方法，其特征在于，从所述目标标识信息所标识的所述目标存储对象中读取所述目标作业信息包括：

向目标存储设备发送目标请求消息，其中，所述目标请求消息用于请求获取所述目标作业信息，所述目标存储设备中存储有所述目标存储对象；

接收所述目标存储设备响应所述目标请求消息所返回的所述目标作业信息。

7.一种作业的处理装置，其特征在于，包括：

获取单元，用于获取第一执行命令，其中，所述第一执行命令中携带有用于标识目标存储对象的目标标识信息，所述目标存储对象是存储有目标作业信息的对象，所述目标作业信息为待运行的代码程序；

第一调用单元，用于通过执行所述第一执行命令，调用目标应用程序；

读取单元，用于从所述目标标识信息所标识的所述目标存储对象中读取所述目标作业信息；

第一运行单元，用于通过所述目标应用程序运行所述目标作业信息，得到所述目标作业信息的运行结果；

其中，从所述目标标识信息所标识的所述目标存储对象中读取所述目标作业信息包括：在所述目标标识信息为所述目标存储对象的对象名的情况下，将所述目标存储对象的对象名和目标存储路径进行组合，得到目标对象路径，其中，所述目标存储路径为所述目标存储对象的默认存储路径；从所述目标对象路径所指示的所述目标存储对象中读取所述目标作业信息。

8.一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信，其特征在于，

所述存储器，用于存储计算机程序；

所述处理器，用于通过运行所述存储器上所存储的所述计算机程序来执行权利要求1至6中任一项所述的方法。

9.一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至6中任一项中所述的方法。