CN114860300A - 依赖配置方法及装置、电子设备及存储介质 - Google Patents

Abstract

本公开实施例是关于一种依赖配置方法，应用于平台，所述方法包括：接收目标依赖的任务请求；其中，所述任务请求至少包括：配置参数；根据所述配置参数，确定所述目标依赖的类型以及版本；根据所述目标依赖的类型以及版本，得到与所述类型以及版本对应的源代码文件；其中，所述目标依赖的类型，至少包括：标准化依赖和自定义依赖；加载所述目标依赖的源代码文件至类路径，并执行所述任务请求；如此，可以根据配置参数的更改，在不同目标依赖的类型和版本之间切换，可以适应不同业务场景的需求。

Description

依赖配置方法及装置、电子设备及存储介质

技术领域

本公开涉及计算机技术领域，尤其涉及一种依赖配置方法及装置、电子设备及存储介质。

背景技术

在一些大数据场景中，编写大数据任务所依赖的依赖包都设置在大数据集群中，当不同用户需要配置不同的依赖包时，需要去适应单一的大数据集群中的单一依赖包，无法灵活切换版本，且若采用编译打包业务源代码文件包的方式，需要频繁编译部署，导致源代码文件包会占用过多存储空间，难以维护。

因此，需要能实现能满足不同场景的依赖需求，且占用空间小的依赖配置装置。

发明内容

本公开实施例公开了一种依赖配置方法及装置、电子设备及存储介质。

本公开实施例第一方面提供一种依赖配置方法，应用于平台，所述方法包括：接收目标依赖的任务请求；其中，所述任务请求至少包括：配置参数；根据所述配置参数，确定所述目标依赖的类型以及版本；根据所述目标依赖的类型以及版本，得到与所述类型以及版本对应的源代码文件；其中，所述目标依赖的类型，至少包括：标准化依赖和自定义依赖；加载所述目标依赖的源代码文件至类路径，并执行所述任务请求。

可选地，所述根据所述目标依赖的类型以及版本，得到与所述类型以及版本对应的源代码文件，包括：根据所述目标依赖的类型以及版本，确定所述目标依赖的依赖类型是否属于标准化依赖；当所述目标依赖是属于标准化依赖时，从所述标准化依赖的第一仓库下载与所述类型以及版本对应的源代码文件。

可选地，所述根据所述目标依赖包的类型以及版本，得到与所述类型以及版本对应的源代码文件，包括：根据所述目标依赖包的类型以及版本，确定所述目标依赖包的依赖类型是否属于自定义依赖的第一类依赖；当所述目标依赖是属于自定义依赖的第一类依赖时，从云端下载与所述类型以及版本对应的源代码文件。

可选地，所述根据所述目标依赖的类型以及版本，得到与所述类型以及版本对应的源代码文件，包括：根据所述目标依赖包的类型以及版本，确定所述目标依赖的依赖类型是否属于自定义依赖的第二类依赖；当所述目标依赖是属于自定义依赖的第二类依赖时，从数据库调用与所述类型以及版本对应的源代码；根据所述源代码，得到与所述类型以及版本对应的源代码文件。

可选地，所述根据所述源代码，得到与所述类型以及版本对应的源代码文件，包括：根据所述源代码的语言类型，调用与所述语言类型对应的编译器；利用所述编译器编译所述源代码，得到二进制文件；将所述二进制文件打包，得到与所述类型以及版本对应的源代码文件。

本公开第二方面提供一种依赖配置方法，应用于终端，所述方法包括：发送目标依赖的配置任务请求至平台；其中，所述任务请求至少包括：配置参数，所述配置参数，用于所述平台根据所述配置参数，确定所述目标依赖的类型以及版本；根据所述目标依赖的类型以及版本，得到与所述类型以及版本对应的源代码文件；其中，所述目标依赖的类型，至少包括：标准化依赖和自定义依赖；加载所述目标依赖的源代码文件至类路径；接收依赖配置结果。

可选地，所述方法还包括：生成所述自定义依赖的第一类依赖的源代码文件；上传所述源代码文件至平台；其中，所述源代码文件用于所述平台上传至云端。

可选地，所述方法还包括：生成所述自定义依赖的第二类依赖的源代码；上传所述源代码至平台；其中，所述源代码用于所述平台存储所述源代码至数据库。

可选地，若所述依赖配置结果指示所述目标依赖的源代码文件错误，则上传所述目标依赖的源代码文件和/或源代码至所述平台。

本公开第三方面提供一种依赖配置装置，所述装置包括：第一接收模块，用于接收目标依赖的任务请求；其中，所述任务请求至少包括：配置参数；第一确定模块，用于根据所述配置参数，确定所述目标依赖的类型以及版本；第二确定模块，用于根据所述目标依赖的类型以及版本，得到与所述类型以及版本对应的源代码文件；其中，所述目标依赖的类型，至少包括：标准化依赖和自定义依赖；加载模块，用于加载所述目标依赖的源代码文件至类路径，并执行所述任务请求。

可选地，所述第二确定模块，还配置为：用于根据所述目标依赖的类型以及版本，确定所述目标依赖的依赖类型是否属于标准化依赖；当所述目标依赖是属于标准化依赖时，从所述标准化依赖的第一仓库下载与所述类型以及版本对应的源代码文件。

可选地，所述第二确定模块，还配置为：用于根据所述目标依赖包的类型以及版本，确定所述目标依赖包的依赖类型是否属于自定义依赖的第一类依赖；当所述目标依赖是属于自定义依赖的第一类依赖时，从云端下载与所述类型以及版本对应的源代码文件。

可选地，所述第二确定模块，还配置为：用于根据所述目标依赖包的类型以及版本，确定所述目标依赖的依赖类型是否属于自定义依赖的第二类依赖；当所述目标依赖是属于自定义依赖的第二类依赖时，从数据库调用与所述类型以及版本对应的源代码；根据所述源代码，得到与所述类型以及版本对应的源代码文件。

可选地，所述第二确定模块，还配置为：用于根据所述源代码的语言类型，调用与所述语言类型对应的编译器；利用所述编译器编译所述源代码，得到二进制文件；将所述二进制文件打包，得到与所述类型以及版本对应的源代码文件。

本公开实施例第四方面提供一种依赖配置装置，所述装置包括：第一发送模块，用于发送目标依赖的配置任务请求至平台；其中，所述任务请求至少包括：配置参数，所述配置参数，用于所述平台根据所述配置参数，确定所述目标依赖的类型以及版本；根据所述目标依赖的类型以及版本，得到与所述类型以及版本对应的源代码文件；其中，所述目标依赖的类型，至少包括：标准化依赖和自定义依赖；加载所述目标依赖的源代码文件至类路径；第二接收模块，用于接收依赖配置结果。

可选地，所述装置还包括：第一生成模块，用于生成所述自定义依赖的第一类依赖的源代码文件；第一上传模块，用于上传所述源代码文件至平台；其中，所述源代码文件用于所述平台上传至云端。

可选地，所述装置还包括：第二生成模块，用于生成所述自定义依赖的第二类依赖的源代码；第二上传模块，用于上传所述源代码至平台；其中，所述源代码用于所述平台存储所述源代码至数据库。

可选地，所述装置还包括：第三上传模块，用于若所述依赖配置结果指示所述目标依赖的源代码文件错误，则上传所述目标依赖的源代码文件和/或源代码至所述平台。

本公开实施例第五方面提供一种电子设备，包括：用于存储处理器可执行指令的存储器；处理器，与所述存储器连接；其中，所述处理器被配置为执行如上述第一方面或第二方面提供的依赖配置方法。

本公开实施例第六方面提供一种非临时性计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现如上述第一方面或第二方面提供的依赖配置方法。

本公开的实施例提供的依赖配置方法，应用于平台，包括：接收目标依赖的任务请求；其中，所述任务请求至少包括：配置参数；根据所述配置参数，确定所述目标依赖的类型以及版本；根据所述目标依赖的类型以及版本，得到与所述类型以及版本对应的源代码文件；其中，所述目标依赖的类型，至少包括：标准化依赖和自定义依赖；加载所述目标依赖的源代码文件至类路径，并执行所述任务请求；如此，相对于现有的需要不同用户使用单一大数据集群中的单一依赖方式，无法灵活切换版本相比，可以实现根据配置参数更改，实现依赖包的类型和版本的切换，能适应不同业务场景的需求。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是本公开一示例性实施例示出的依赖配置方法的流程示意图；

图2是本公开一示例性实施例示出的依赖配置方法的流程示意图；

图3是本公开一示例性实施例示出的依赖配置方法的流程示意图；

图4是本公开一示例性实施例示出的依赖配置方法的流程示意图；

图5是本公开一示例性实施例示出的依赖配置方法的流程示意图；

图6是本公开一示例性实施例示出的依赖配置方法的流程示意图；

图7是本公开一示例性实施例示出的依赖配置方法的流程示意图；

图8是本公开一示例性实施例示出的依赖配置方法的流程示意图；

图9是本公开一示例性实施例示出的依赖配置方法的流程示意图；

图10是本公开一示例性实施例示出的依赖配置方法的流程示意图；

图11是本公开一示例性实施例示出的依赖配置方法的流程示意图；

图12是本公开一示例性实施例示出的依赖配置方法的流程示意图；

图13是本公开一示例性实施例示出的依赖配置方法的操作示意图；

图14是本公开一示例性实施例示出的依赖配置方法的操作示意图；

图15是本公开一示例性实施例示出的依赖配置方法的操作示意图；

图16是本公开一示例性实施例示出的依赖配置装置的结构示意图；

图17是本公开一示例性实施例示出的依赖配置装置的结构示意图；

图18是本公开一示例性实施例示出的依赖配置装置的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附申请文件中所详述的、本发明的一些方面相一致的装置和方法的例子。

本公开实施例中，结合图1所示，应用于平台，所述方法包括：

步骤S101，接收目标依赖的任务请求；其中，所述任务请求至少包括：配置参数；

步骤S102，根据所述配置参数，确定所述目标依赖的类型以及版本；

步骤S103，根据所述目标依赖的类型以及版本，得到与所述类型以及版本对应的源代码文件；其中，所述目标依赖的类型，至少包括：标准化依赖和自定义依赖；

步骤S104，加载所述目标依赖的源代码文件至类路径，并执行所述任务请求。

本公开实施例中，结合图10所示，所述自定义依赖至少包括：第一类依赖和第二类依赖；其中，第一类依赖是依靠用户在终端编写源代码，得到源代码文件，并且将源代码文件通过上传至平台，平台再上传至云端存储；第二类依赖是依靠用户在终端编写源代码，得到文本形式的源代码，并且将源代码上传至平台，平台再存储到数据库来存储。

本公开实施例中，源代码文件由于比文本形式的源代码所占用空间更大，因此，平台将源代码文件上传至云端，平台将文本形式的源代码存储至数据库中。

本公开实施例中，关于步骤S101以及步骤S102，关于配置参数，包含终端设置的关于所述目标依赖的类型以及版本的参数组合。

本公开实施例中，用户可以在终端显示的页面中，选择需要的目标依赖的类型和版本，包括但不限于是以下之一：

标准化依赖的V1、V2、V3、···、Vn版本中的任意一个版本；

自定义依赖的第一类依赖的V1、V2、V3、···、Vn版本中的任意一个版本；

自定义依赖的第二类依赖的V1、V2、V3、···、Vn版本中的任意一个版本。

本公开实施例中，所述n为自然数或小数，例如3或3.1，根据版本标记方式来确定，包括但不限于是：

自然数标记版本，如V1，···，Vn，这里n为自然数；

自然数与小数结合标记，如Vn，Vn.1，···Vn.m；这里n、m为自然数；

小数标记，如Vn.1，···Vn.m；这里n、m为自然数。

本公开实施例中，只需要在终端设置配置参数，就可切换选择任意需要的目标依赖的类型和版本。

本公开实施例中，标准化依赖至少包括以下之一：

Maven依赖；

Gradle依赖。

本公开实施例中，关于步骤S103，平台在接收到目标依赖的任务请求，并确定目标依赖的类型以及版本之后，平台会根据目标依赖的类型，选择获取目标依赖的源代码文件的方式，并得到目标依赖的类型以及版本对应的源代码文件，包括但不限于是：

对于标准化依赖，平台会从可以获取标准化依赖的源代码文件的第一仓库获取源代码文件；这里，第一仓库是指关于Maven或Gradle中央仓库；

对于自定义依赖，平台可从云端获取源代码文件；

对于自定义依赖，平台可从数据库获取文本形式的源代码，并生成源代码文件。

本公开实施例中，关于步骤S104，平台在获取到源代码文件之后，会加载所述目标依赖的源代码文件至类路径，并执行所述任务请求。

本公开实施例中，所述类路径是指，关于平台内设置的任务线程，在执行任务请求时，按照类路径执行所述任务请求。

本公开实施例中，所述任务包括但不限于是：应用安装任务；音频播放任务；计算任务；计时任务等计算机可设置的任务。

本公开实施例中，对于标准化依赖的任务，通过新增插件setexecution.packages属性配置，可以支持Sql/Jar模式任务的执行。

本公开实施例中，关于自定义依赖的源代码，使用的语言包括但不限于是以下之一：

Java语言；

Scala语言；

Python语言；

C或C++语言。

本公开实施例中，关于自定义依赖的第二类依赖，可以通过编译器将不同语言编译成二进制文件，并组装成通用的源代码文件，便于加载到类路径以执行任务。

本公开实施例中，由于可以通过调整配置参数，切换目标依赖的类型和版本，因此，对于大数据场景下，可以实现不同类型的依赖的提供和任务的执行，进而能适应不同业务场景的需求。

本公开实施例中，结合图2所示，步骤S103，所述根据所述目标依赖的类型以及版本，得到与所述类型以及版本对应的源代码文件，包括：

步骤S1031，根据所述目标依赖的类型以及版本，确定所述目标依赖的依赖类型是否属于标准化依赖；

步骤S1032，当所述目标依赖是属于标准化依赖时，从所述标准化依赖的第一仓库下载与所述类型以及版本对应的源代码文件。

本公开实施例中，所述标准化依赖至少包括Maven依赖、Gradle依赖。

本公开实施例中，所述第一仓库包括但不限于是：Maven中央仓库、Gradle中央仓库。第一仓库存储有关于标准化依赖的多个版本。

本公开实施例中，对于标准化依赖，当确定所述目标依赖的依赖类型是属于标准化依赖时，由于第一仓库存储有关于标准化依赖的多个版本，则可以从第一仓库下载与所述类型以及版本对应的源代码文件。

本公开实施例中，对于标准化依赖的Maven依赖，可以通过新增maven依赖项，即setexecution.packages属性支持标准化依赖任务的执行。

本公开实施例中，通过Util组件动态下载新增maven依赖项。

本公开实施例中，新增maven依赖项支持Sql查询语句的模式和/或Jar代码模式的任务。这里，关于Sql查询语句模式，是通过Sql语句查询出新增maven依赖项的代码；关于Jar代码模式，是通过代码查询出新增maven依赖项的代码。

本公开实施例中，对于属于标准化依赖，平台可以从第一仓库下载标准化依赖的源代码文件，并且加载到类路径，并执行任务请求，如此，可以实现根据配置参数中的依赖类型为标准化依赖，下载对应的源代码文件，可以满足需要配置多版本的标准化依赖的场景需求。

本公开实施例中，结合图3所示，步骤S103，所述根据所述目标依赖的类型以及版本，得到与所述类型以及版本对应的源代码文件，包括：

步骤S1033，根据所述目标依赖包的类型以及版本，确定所述目标依赖包的依赖类型是否属于自定义依赖的第一类依赖；

步骤S1034，当所述目标依赖是属于自定义依赖的第一类依赖时，从云端下载与所述类型以及版本对应的源代码文件。

本公开实施例中，第一类依赖包括但不限于是：Jar依赖，是指由用户在终端编辑好源代码，生成源代码文件并存储在终端。

本公开实施例中，在终端生成源代码文件之后，将源代码文件上传至平台，平台再将源代码文件上传到云端存储，并且将与所述源代码文件对应的映射关系存储到数据库。

本公开实施例中，所述映射关系指示所述源代码文件的不同版本在云端的存储地址，在需要平台从云端下载所述源代码文件时，所述平台将所述源代码文件在云端的存储地址发送给平台的云客户端，所述云客户端从所述云端下载所述源代码文件。

本公开实施例中，当确定所述目标依赖是属于自定义依赖的第一类依赖时，则可以直接从云端下载。

本公开实施例中，关于第一类依赖的源代码文件，用户所使用的终端，配置有对应的语言编辑环境，用户在语言编辑环境中进行源代码编辑，包括但不限于是：

在Python语言环境应用中编辑Python语言源代码；

在Java语言环境应用中编辑Java语言源代码；

在Scala语言环境应用中编辑Scala语言源代码；

在C语言环境应用中编辑C语言源代码；

在C++语言环境应用中编辑C++语言源代码。

本公开实施例中，存储在云端的源代码文件，对多个用户开放的方式，包括但不限于是以下之一：

对所有用户免费开放；

对付费用户开放；

对指定用户免费开放。

本公开实施例中，第一类源代码文件开放面向的用户具有下载权限，并且可以通过平台，从云端下载第一类依赖的源代码文件。

本公开实施例中，由于源代码文件所需的存储空间较源代码文本大，因此上传至云端，只是将映射关系存储在数据库，可以减少对数据库的空间占用，便于平台从云端下载第一类依赖的源代码文件，如此，可以实现根据配置参数中的依赖类型为自定义依赖的第一类依赖，下载对应的源代码文件，可以满足需要配置多版本的自定义依赖的第一类依赖的场景需求。

本公开实施例中，结合图4所示，步骤S103，所述根据所述目标依赖的类型以及版本，得到与所述类型以及版本对应的源代码文件，包括：

步骤S1035，根据所述目标依赖包的类型以及版本，确定所述目标依赖的依赖类型是否属于自定义依赖的第二类依赖；

步骤S1036，当所述目标依赖是属于自定义依赖的第二类依赖时，从数据库调用与所述类型以及版本对应的源代码；

步骤S1037，根据所述源代码，得到与所述类型以及版本对应的源代码文件。

本公开实施例中，所述第二类依赖的源代码编辑，为Web IDE编码模式，具体地，终端无需配置语言环境，可以在网页上编辑源代码，得到文本形式的源代码，并且将源代码上传至平台，平台再将源代码存储至数据库中。

本公开实施例中，平台以文本形式将源代码存储在数据库中。

在一个实施例中，存储在数据库在的源代码，可以是以txt为后缀的文本。

本公开实施例中，关于步骤S1036中，当所述目标依赖时属于自定义依赖的第二类依赖时，平台从数据库调用与所述类型以及版本对应的源代码。

本公开实施例中，关于步骤S1037，平台通过Adapter编译器，将不同语言的源代码如Java语言；Scala语言；Python语言；C或C++语言的源代码，编译成class二进制文件。

本公开实施例中，平台根据class二进制文件生成源代码文件，并且将源代码文件加载到类路径中，用于执行任务请求。

本公开实施例中，当用户需要自定义依赖的第二类依赖的源代码文件时，仅需在终端修改配置参数，便可以通过平台从数据库调用对应类型和版本的源代码，并且编译生成源代码文件，将所述源代码文件加载到类路径中。

本公开实施例中，平台将源代码文件加载到类路径之后，则执行任务请求。

本公开实施例中，由于文本形式的源代码占据存储空间小，平台将其存储在数据库中，便于调取，并且面对第二类依赖，且不同语言以及不同版本的源代码文件的需求时，平台可以调取数据库的第二类依赖的文本形式的源代码，并且利用编译器生成源代码文件，如此，可以满足用户对不同语言以及不同版本的依赖需求。

本公开实施例中，结合图5所示，步骤S1037，所述根据所述源代码，得到与所述类型以及版本对应的源代码文件，包括：

步骤S10371，根据所述源代码的语言类型，调用与所述语言类型对应的编译器；

步骤S10372，利用所述编译器编译所述源代码，得到二进制文件；

步骤S10373，将所述二进制文件打包，得到与所述类型以及版本对应的源代码文件。

本公开实施例中，关于步骤S10371，若所述源代码的语言类型为Jave语言，则调用与Java语言对应的编译器：Java Adopter，也可称为Java适配器。

本公开实施例中，若所述源代码的语言类型为Scala语言，则调用与Scala语言对应的编译器：Scala Adopter，也可称为Scala适配器。

本公开实施例中，若所述源代码的语言类型为Python语言，则调用与Python语言对应的编译器：Python Adopter，也可称为Python适配器。

本公开实施例中，若所述源代码的语言类型为C语言，则调用与C语言对应的编译器：C Adopter，也可称为C适配器。

本公开实施例中，若所述源代码的语言类型为C++语言，则调用与C++语言对应的编译器：C++Adopter，也可称为C++适配器。

本公开实施例中，关于步骤S10372，利用所述编译器编译所述源代码，将所述源代码转换成Class二进制文件，使得不同语言的源代码都可以适用同一平台。

本公开实施例中，平台可以读取Class二进制文件并且将其打包得到源代码文件，即Jar包。

本公开实施例中，由于平台的编译器可以将不同语言的源代码编译成可读取的的Cla ss二进制文件，进而生成源代码文件，如此，可以实现不同语言的自定义依赖，也可以加载到平台的类路径中，进而执行任务请求。

本公开实施例中，平台可以实现不同语言的源代码的依赖配置，满足使用不同语言的用户的需求。

本公开实施例中，结合图6所示，一种依赖配置方法，应用于终端，所述方法包括：

步骤S201，发送目标依赖的配置任务请求至平台；其中，所述任务请求至少包括：配置参数，所述配置参数，用于所述平台根据所述配置参数，确定所述目标依赖的类型以及版本；根据所述目标依赖的类型以及版本，得到与所述类型以及版本对应的源代码文件；其中，所述目标依赖的类型，至少包括：标准化依赖和自定义依赖；加载所述目标依赖的源代码文件至类路径；

步骤S202，接收依赖配置结果。

本公开实施例中，对于标准化依赖，用户通过终端，上传任务执行请求，平台在接收到任务执行请求后，从第一仓库下载源代码文件。

本公开实施例中，对于自定义依赖，用户通过终端，上传任务执行请求，平台在接收任务请求后，会在云端下载源代码文件，或者从数据库调用文本形式的源代码，得到源代码文件。

本公开实施例中，只需要在终端修改配置参数，确定需要的目标依赖类型以及版本，平台就可以下载对应的源代码文件，并且将对应的源代码文件加载到类路径。

本公开实施例中，平台将对应的源代码文件加载到类路径之后，执行任务请求。

本公开实施例中，终端接收平台发送的依赖配置结果，这里，关于步骤S202的依赖配置结果，指示所述源代码文件是否出现错误，包括但不限于是：所述源代码文件内容为空；所述源代码文件中的源代码内容错误。

本公开实施例中，由于可以通过调整配置参数，切换目标依赖的类型和版本，因此，对于大数据场景下，可以实现不同类型的依赖的提供和任务的执行，进而能适应不同业务场景的需求。

本公开实施例中，结合图7所示，所述方法还包括：

步骤S203，生成所述自定义依赖的第一类依赖的源代码文件；

步骤S204，上传所述源代码文件至平台；其中，所述源代码文件用于所述平台上传至云端。

本公开实施例中，关于步骤S203，第一类依赖包括但不限于是：Jar依赖，由用户在终端编辑好源代码，生成源代码文件并存储在终端。

本公开实施例中，在终端生成源代码文件之后，将源代码文件上传至平台，平台再将源代码文件上传到云端存储，并且将与所述源代码文件对应的映射关系存储到数据库。

本公开实施例中，当确定所述目标依赖是属于自定义依赖的第一类依赖时，则可以直接从云端下载。

本公开实施例中，关于第一类依赖的源代码文件，用户所使用的终端，配置有对应的语言编辑环境，用户在语言编辑环境中进行源代码编辑，包括但不限于是：

在Python语言环境应用中编辑Python语言源代码；

在Java语言环境应用中编辑Java语言源代码；

在Scala语言环境应用中编辑Scala语言源代码；

在C语言环境应用中编辑C语言源代码；

在C++语言环境应用中编辑C++语言源代码。

本公开实施例中，存储在云端的源代码文件，对多个用户开放的方式，包括但不限于是以下之一：

对所有用户免费开放；

对付费用户开放；

对指定用户免费开放。

本公开实施例中，第一类源代码文件开放面向的用户具有下载权限，并且可以通过平台，从云端下载第一类依赖的源代码文件。

本公开实施例中，由于源代码文件所需的存储空间较源代码文本大，因此上传至云端，只是将映射关系存储在数据库，可以减少对数据库的空间占用，便于平台从云端下载第一类依赖的源代码文件，如此，可以实现根据配置参数中的依赖类型为自定义依赖的第一类依赖，下载对应的源代码文件，可以满足需要配置多版本的自定义依赖的第一类依赖的场景需求。

本公开实施例中，结合图8所示，所述方法还包括：

步骤S205，生成所述自定义依赖的第二类依赖的源代码；

步骤S206，上传所述源代码至平台；其中，所述源代码用于所述平台存储所述源代码至数据库。

本公开实施例中，关于步骤S205，所述第二类依赖的源代码编辑，为Web IDE编码模式，具体地，终端无需配置语言环境，可以在网页上编辑源代码，得到文本形式的源代码，并且将源代码上传至平台，平台再将源代码存储至数据库中。

本公开实施例中，平台以文本形式将源代码存储在数据库中。

在一个实施例中，存储在数据库在的源代码，可以是以txt为后缀的文本。

本公开实施例中，当用户需要自定义依赖的第二类依赖的源代码文件时，仅需在终端修改配置参数，便可以通过平台从数据库调用对应类型和版本的源代码，并且编译生成源代码文件，将所述源代码文件加载到类路径中。

本公开实施例中，由于文本形式的源代码占据存储空间小，平台将其存储在数据库中，便于调取，并且面对第二类依赖，且不同语言以及不同版本的源代码文件的需求时，平台可以调取数据库的第二类依赖的文本形式的源代码，并且利用编译器生成源代码文件，如此，可以满足用户对不同语言以及不同版本的依赖需求。

本公开实施例中，结合图9所示，所述方法还包括：

步骤S207，若所述依赖配置结果指示所述目标依赖的源代码文件错误，则上传所述目标依赖的源代码文件和/或源代码至所述平台。

本公开实施例中，关于步骤S207，若源代码文件错误，则会接收到依赖配置结果，显示所述源代码文件为空，或者文件内容错误，则对于第一类依赖，终端会上传源代码文件至平台。对于第二类依赖，终端会上传源代码至平台。

本公开实施例中，由于终端可以接收到平台返回的依赖配置结果，并且根据依赖配置结果上传源代码和/或源代码文件，如此，可以提高对源代码文件错误问题的监控和改进，并提高执行任务请求的成功率。

现结合上述实施例，提供以下示例：

示例1：一种依赖配置方法。

随着业务的发展，需求越来越复杂。特别是大数据场景，需要依赖大量的第三方依赖包，用户难以维护。

生产中通常需要把依赖包预先设置到提交机，并将依赖包加载到类路径classpath中；或者开发时将依赖编译打包到业务Jar包即源代码文件包中。

存在几个缺点：

1、不同的第三方库依赖包，存在依赖冲突问题，难以解决。但通常只需要使用其中几个无冲突的部分。

2、在传统大数据场景下，编写大数据任务所依赖的依赖包都是设置在大数据集群中，是不同用户去适应单一大数据集群，无法灵活切换版本，同时编译打包到业务Jar包的方式，需要频繁编译部署，且Jar会非常大，难以维护；而在数据平台中的大数据场景中，需要应对不同的业务场景，不同用户需求必然使用不同版本依赖，是大数据集群去适应不同用户，不需要用户编译、打包、部署，灵活性明显增强，配置明显简化。

3、用户需要配置开发环境，并熟悉至少一种开发语言，有一定的技术门槛。

4、用户业务逻辑难以复用，只能线下自行沟通，经常出现重复造轮子的现象。

现有方案：生产中通常需要把依赖包预先保存到提交机，并将依赖包加载到classpath中；或者开发时将依赖编译打包到业务Jar包中。

本公开实施例中，创新点是：

1、对官方Maven依赖，新增set execution.packages属性配置，同时支持Sql/Jar模式任务。

2、对自定义依赖，提供Jar模式的同时，提供Web IDE编码模式，同时支持Java、Scala、Python等多种语法。配置任务时，可以混合使用；用户可以通过简单的权限配置，赋能业务线、灵活复用。

3、调度运行时，通过Adapter适配器，将不同语法的依赖编译成class二进制文件，并组装成通用的Jar包使用，无需调整标准提交流程。

优点在于：

1、有效解决依赖包冲突问题，插件式配置。

2、提供多种依赖配置方式，自由设置依赖版本，满足不同场景需要。

3、提供Maven依赖配置、Jar依赖、在线编码三种方式。全链路打通，方便复用。

4、无需配置开发环境、在线IDE编程、多种模式混合开发，降低用户使用门槛。

关于实现多依赖配置方式，结合图10所示，有如下方式：

1、任务依赖分为标准化依赖和自定义依赖两种。其中标准化依赖指Maven、Gradle中央仓库可直接下载的依赖项；自定义依赖特指用户业务开发需要的非标准化依赖，通常分为自定义Jar和Web IDE在线编程两种方式。

2、标准化依赖通过新增set execution.packages属性支持，同时支持Sql/Jar模式任务。在任务运行时，通过Util组件动态下载。

3、自定义依赖中，Jar依赖通过页面上传，将文件保存到OBS云端对象存储，并将映射关系保存在数据库；Web IDE依赖，允许用户在线编写代码逻辑，无需配置线下开发环境。同时代码可读、可编辑，复用性好。

4、针对Web IDE格式的依赖，在任务提交运行的过程中，会根据语言类型调用不同的Adapter适配器，将代码编译成class二进制问题，最终打包成Jar文件。和Jar依赖相同方式处理。

5、几种依赖方式都支持多版本，可根据需要动态切换。

结合图11、图12所示的架构图，以及图13、图14以及图15依赖配置图，执行流程如下：

应用于终端，步骤S301，用户页面选择新建或者修改在线代码，保存；

步骤S302，用户请求上传代码；

步骤S303，平台收到用户请求后，将代码存储到数据库，新建或者修改都会自动打一次tag，同时会将代码落盘到云上，将云商地址更新到对应的版本。

步骤S304，用户任务中使用上述步骤中的代码；

步骤S305，用户提交任务请求。

应用于平台：

步骤S401，平台收到用户提交任务请求，将代码下载到平台；

步骤S402，将代码使用编译器进行编译打包成Jar即源代码文件，加载到类路径中，供任务使用；

步骤S403，任务提交后，平台会自行删除代码以及对应的Jar。

本公开实施例中，具体结合图11所示的架构图，包括以下步骤：

步骤1，用户在线代码编辑和/或上传Jar包至终端；

步骤2，终端请求上传代码或Jar包至平台；

步骤3.1，将不同版本存储到数据库；

本公开实施例中，关于图11的步骤3.1，不同版本存储到数据库，至少指示以下之一：

将不同版本的源代码存储到数据库；

将不同版本的源代码文件的映射关系存储到数据库。

步骤3.2，平台云客户端将源代码文件，即Jar包存储到云端；

步骤3.3，云端返回Jar包的源代码文件的存储地址至平台；

步骤3.4，平台将存储地址存储到数据库；

步骤4，用户在任务中使用代码或Jar包；

步骤5，提交任务请求至平台；

步骤6.1，对于Jar依赖，即第一类依赖，根据依赖类型和版本获取存储在云端的地址；

步骤6.2，平台的云客户端根据存储地址请求从云端下载Jar包；

步骤6.3，下载Jar包至平台；

或步骤6.4，对于Web IDE依赖，即第二类依赖，从数据库获取在线代码，即文本形式的源代码；

步骤6.5，将代码传给编译器；

步骤6.6，编译器编译并打包；

或步骤6.7，对于标准化依赖，解析依赖配置的配置语句，即解析SET语句；

步骤6.8，从第一仓库请求下载Jar包；

步骤6.9，下载Jar至平台；

步骤7，加载Jar包至类路径；

步骤8，使用后删除。

本公开实施例中，关于图12的架构图，为上述步骤的另一示意图，所述工件，表示源代码和/或源代码文件，分为创建工件的步骤以及使用工件的步骤。

本公开实施例中，在创建工件时，对于第一类依赖，上传工件，即源代码至数据库；对于第二类依赖，云端将工件，即源代码文件在云端的存储地址存储至数据库。

本公开实施例中，在使用工件时，对于第一类依赖，即Jar依赖，步骤包括：

平台的提交任务模块根据依赖类型及版本；

从数据库获取云端存储地址；

数据库返回云端存储地址至平台的服务器；

服务器根据存储地址从云端请求下载Jar包；

从云端下载Jar包；

加载Jar包到类路径；

任务提交后，删除所有Jar包。

本公开实施例中，在使用工件时，对于第二类依赖，即Web IDE依赖，步骤包括：

平台的提交任务模块从数据库获取在线代码内容，即源代码；

数据库返回在线代码内容至所述服务器；

对源代码进行编译及打包，得到Jar包；

加载Jar包到类路径；

任务提交后，删除所有Jar包。

本公开实施例中，在使用工件时，对于标准化依赖，步骤包括：提交任务；

解析依赖配置语句，即Set语句；

Maven工具类向第一仓库请求下载Jar包；

下载Jar包至服务器；

加载Jar包到类路径；

任务提交后删除所有Jar包。

本公开实施例中，结合图16所示，提供一种依赖配置装置500，所述装置500包括：

第一接收模块501，用于接收目标依赖的任务请求；其中，所述任务请求至少包括：配置参数；

第一确定模块502，用于根据所述配置参数，确定所述目标依赖的类型以及版本；

第二确定模块503，用于根据所述目标依赖的类型以及版本，得到与所述类型以及版本对应的源代码文件；其中，所述目标依赖的类型，至少包括：标准化依赖和自定义依赖；

加载模块504，用于加载所述目标依赖的源代码文件至类路径，并执行所述任务请求。

本公开实施例中，所述第二确定模块503，还配置为：

用于根据所述目标依赖的类型以及版本，确定所述目标依赖的依赖类型是否属于标准化依赖；

当所述目标依赖是属于标准化依赖时，从所述标准化依赖的第一仓库下载与所述类型以及版本对应的源代码文件。

本公开实施例中，所述第二确定模块503，还配置为：

用于根据所述目标依赖包的类型以及版本，确定所述目标依赖包的依赖类型是否属于自定义依赖的第一类依赖；

当所述目标依赖是属于自定义依赖的第一类依赖时，从云端下载与所述类型以及版本对应的源代码文件。

本公开实施例中，所述第二确定模块503，还配置为：

用于根据所述目标依赖包的类型以及版本，确定所述目标依赖的依赖类型是否属于自定义依赖的第二类依赖；

当所述目标依赖是属于自定义依赖的第二类依赖时，从数据库调用与所述类型以及版本对应的源代码；

根据所述源代码，得到与所述类型以及版本对应的源代码文件。

本公开实施例中，所述第二确定模块503，还配置为：

用于根据所述源代码的语言类型，调用与所述语言类型对应的编译器；

利用所述编译器编译所述源代码，得到二进制文件；

将所述二进制文件打包，得到与所述类型以及版本对应的源代码文件。

本公开实施例中，结合图17所示，提供一种依赖配置装置600，所述装置包括：

第一发送模块601，用于发送目标依赖的配置任务请求至平台；其中，所述任务请求至少包括：配置参数，所述配置参数，用于所述平台根据所述配置参数，确定所述目标依赖的类型以及版本；根据所述目标依赖的类型以及版本，得到与所述类型以及版本对应的源代码文件；其中，所述目标依赖的类型，至少包括：标准化依赖和自定义依赖；加载所述目标依赖的源代码文件至类路径；

第二接收模块602，用于接收依赖配置结果。

本公开实施例中，结合图18所示，所述装置600还包括：

第一生成模块603，用于生成所述自定义依赖的第一类依赖的源代码文件；

第一上传模块604，用于上传所述源代码文件至平台；其中，所述源代码文件用于所述平台上传至云端。

本公开实施例中，结合图18所示，所述装置600还包括：

第二生成模块605，用于生成所述自定义依赖的第二类依赖的源代码；

第二上传模块606，用于上传所述源代码至平台；其中，所述源代码用于所述平台存储所述源代码至数据库。

本公开实施例中，结合图18所示，所述装置600还包括：

第三上传模块607，用于若所述依赖配置结果指示所述目标依赖的源代码文件错误，则上传所述目标依赖的源代码文件和/或源代码至所述平台。

本公开实施例提供一种电子设备，包括：

用于存储处理器可执行指令的存储器；

处理器，与存储器连接；

其中，处理器被配置为执行前述任意技术方案提供的依赖配置方法。

处理器可包括各种类型的存储介质，该存储介质为非临时性计算机存储介质，在电子设备掉电之后能够继续记忆存储其上的信息。

处理器可以通过总线等与存储器连接，用于读取存储器上存储的可执行程序，例如，能够执行前述一个或多个技术方案所述方法。

本公开一实施例提供一种电子设备的结构。电子设备包括处理组件，其进一步包括一个或多个处理器，以及由存储器所代表的存储器资源，用于存储可由处理组件的执行的指令，例如应用程序。存储器中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件被配置为执行指令，以执行上述方法应用在所述电子设备的任意方法，例如，前述一个或多个技术方案所述方法。

电子设备还可以包括一个电源组件被配置为执行电子设备的电源管理，一个有线或无线网络接口被配置为将电子设备连接到网络，和一个输入输出(I/O)接口。电子设备可以操作基于存储在存储器的操作系统，例如Windows Server TM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM或类似。

本公开实施例提供一种非临时性计算机可读存储介质，当存储介质中的指令由计算机的处理器执行时，使得计算机能够执行前述一个或多个技术方案所述的直播数据处理方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附申请文件指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的申请文件来限制。

Claims (20)

1.一种依赖配置方法，其特征在于，应用于平台，所述方法包括：

接收目标依赖的任务请求；其中，所述任务请求至少包括：配置参数；

根据所述配置参数，确定所述目标依赖的类型以及版本；

根据所述目标依赖的类型以及版本，得到与所述类型以及版本对应的源代码文件；其中，所述目标依赖的类型，至少包括：标准化依赖和自定义依赖；

加载所述目标依赖的源代码文件至类路径，并执行所述任务请求。

2.根据权利要求1所述的依赖配置方法，其特征在于，所述根据所述目标依赖的类型以及版本，得到与所述类型以及版本对应的源代码文件，包括：

根据所述目标依赖的类型以及版本，确定所述目标依赖的依赖类型是否属于标准化依赖；

当所述目标依赖是属于标准化依赖时，从所述标准化依赖的第一仓库下载与所述类型以及版本对应的源代码文件。

3.根据权利要求1所述的的依赖配置方法，其特征在于，所述根据所述目标依赖包的类型以及版本，得到与所述类型以及版本对应的源代码文件，包括：

根据所述目标依赖包的类型以及版本，确定所述目标依赖包的依赖类型是否属于自定义依赖的第一类依赖；

当所述目标依赖是属于自定义依赖的第一类依赖时，从云端下载与所述类型以及版本对应的源代码文件。

4.根据权利要求1所述的依赖配置方法，其特征在于，所述根据所述目标依赖的类型以及版本，得到与所述类型以及版本对应的源代码文件，包括：

根据所述目标依赖包的类型以及版本，确定所述目标依赖的依赖类型是否属于自定义依赖的第二类依赖；

当所述目标依赖是属于自定义依赖的第二类依赖时，从数据库调用与所述类型以及版本对应的源代码；

根据所述源代码，得到与所述类型以及版本对应的源代码文件。

5.根据权利要求4所述的依赖配置方法，其特征在于，所述根据所述源代码，得到与所述类型以及版本对应的源代码文件，包括：

根据所述源代码的语言类型，调用与所述语言类型对应的编译器；

利用所述编译器编译所述源代码，得到二进制文件；

将所述二进制文件打包，得到与所述类型以及版本对应的源代码文件。

6.一种依赖配置方法，其特征在于，应用于终端，所述方法包括：

发送目标依赖的配置任务请求至平台；其中，所述任务请求至少包括：配置参数，所述配置参数，用于所述平台根据所述配置参数，确定所述目标依赖的类型以及版本；根据所述目标依赖的类型以及版本，得到与所述类型以及版本对应的源代码文件；其中，所述目标依赖的类型，至少包括：标准化依赖和自定义依赖；加载所述目标依赖的源代码文件至类路径；

接收依赖配置结果。

7.根据权利要求6所述的依赖配置方法，其特征在于，所述方法还包括：

生成所述自定义依赖的第一类依赖的源代码文件；

上传所述源代码文件至平台；其中，所述源代码文件用于所述平台上传至云端。

8.根据权利要求6所述的依赖配置方法，其特征在于，所述方法还包括：

生成所述自定义依赖的第二类依赖的源代码；

上传所述源代码至平台；其中，所述源代码用于所述平台存储所述源代码至数据库。

9.根据权利要求6所述的依赖配置方法，其特征在于，所述方法还包括：

若所述依赖配置结果指示所述目标依赖的源代码文件错误，则上传所述目标依赖的源代码文件和/或源代码至所述平台。

10.一种依赖配置装置，其特征在于，所述装置包括：

第一接收模块，用于接收目标依赖的任务请求；其中，所述任务请求至少包括：配置参数；

第一确定模块，用于根据所述配置参数，确定所述目标依赖的类型以及版本；

第二确定模块，用于根据所述目标依赖的类型以及版本，得到与所述类型以及版本对应的源代码文件；其中，所述目标依赖的类型，至少包括：标准化依赖和自定义依赖；

加载模块，用于加载所述目标依赖的源代码文件至类路径，并执行所述任务请求。

11.根据权利要求10所述的依赖配置装置，其特征在于，所述第二确定模块，还配置为：

用于根据所述目标依赖的类型以及版本，确定所述目标依赖的依赖类型是否属于标准化依赖；

当所述目标依赖是属于标准化依赖时，从所述标准化依赖的第一仓库下载与所述类型以及版本对应的源代码文件。

12.根据权利要求10所述的依赖配置装置，其特征在于，所述第二确定模块，还配置为：

用于根据所述目标依赖包的类型以及版本，确定所述目标依赖包的依赖类型是否属于自定义依赖的第一类依赖；

当所述目标依赖是属于自定义依赖的第一类依赖时，从云端下载与所述类型以及版本对应的源代码文件。

13.根据权利要求10所述的依赖配置装置，其特征在于，所述第二确定模块，还配置为：

用于根据所述目标依赖包的类型以及版本，确定所述目标依赖的依赖类型是否属于自定义依赖的第二类依赖；

当所述目标依赖是属于自定义依赖的第二类依赖时，从数据库调用与所述类型以及版本对应的源代码；

根据所述源代码，得到与所述类型以及版本对应的源代码文件。

14.根据权利要求10所述的依赖配置装置，其特征在于，所述第二确定模块，还配置为：

用于根据所述源代码的语言类型，调用与所述语言类型对应的编译器；

利用所述编译器编译所述源代码，得到二进制文件；

将所述二进制文件打包，得到与所述类型以及版本对应的源代码文件。

15.一种依赖配置装置，其特征在于，所述装置包括：

第一发送模块，用于发送目标依赖的配置任务请求至平台；其中，所述任务请求至少包括：配置参数，所述配置参数，用于所述平台根据所述配置参数，确定所述目标依赖的类型以及版本；根据所述目标依赖的类型以及版本，得到与所述类型以及版本对应的源代码文件；其中，所述目标依赖的类型，至少包括：标准化依赖和自定义依赖；加载所述目标依赖的源代码文件至类路径；

第二接收模块，用于接收依赖配置结果。

16.根据权利要求15所述的依赖配置装置，其特征在于，所述装置还包括：

第一生成模块，用于生成所述自定义依赖的第一类依赖的源代码文件；

第一上传模块，用于上传所述源代码文件至平台；其中，所述源代码文件用于所述平台上传至云端。

17.根据权利要求15所述的依赖配置装置，其特征在于，所述装置还包括：

第二生成模块，用于生成所述自定义依赖的第二类依赖的源代码；

第二上传模块，用于上传所述源代码至平台；其中，所述源代码用于所述平台存储所述源代码至数据库。

18.根据权利要求15所述的依赖配置装置，其特征在于，所述装置还包括：

第三上传模块，用于若所述依赖配置结果指示所述目标依赖的源代码文件错误，则上传所述目标依赖的源代码文件和/或源代码至所述平台。

19.一种电子设备，其特征在于，包括：

用于存储处理器可执行指令的存储器；

处理器，与所述存储器连接；

其中，所述处理器被配置为执行如权利要求1至5或6至9任一项提供的依赖配置方法。

20.一种非临时性计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现如权利要求1至5或6至9任一项提供的依赖配置方法。

Images