CN113741961A - 基于Kubernetes容器编排软件提交大数据计算作业的方法及装置 - Google Patents
基于Kubernetes容器编排软件提交大数据计算作业的方法及装置 Download PDFInfo
- Publication number
- CN113741961A CN113741961A CN202111311324.3A CN202111311324A CN113741961A CN 113741961 A CN113741961 A CN 113741961A CN 202111311324 A CN202111311324 A CN 202111311324A CN 113741961 A CN113741961 A CN 113741961A
- Authority
- CN
- China
- Prior art keywords
- big data
- job controller
- persistent volume
- configuration information
- job
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/70—Software maintenance or management
- G06F8/71—Version control; Configuration management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种基于Kubernetes容器编排软件提交大数据计算作业的方法及装置，通过构建封装了大数据平台客户端程序的容器镜像文件，得到容器镜像的位置路径；在容器编排软件中分别创建大数据源持久卷、持久卷声明和大数据算法持久卷以及大数据算法持久卷声明；然后编辑Job控制器资源配置信息；判断拟提交的大数据作业任务是否为初次提交，若是则将配置信息进行存储并创建Job控制器资源，将控制器资源所包含的Pod实例调度到主机上运行；若否则从存储库中找出准备提交的配置信息，将控制器资源包含的Pod实例调度到主机上运行。本发明将控制器资源配置信息存储起来，在再次提交作业时，只需找到原来控制器资源配置信息执行大数据平台的计算作业命令。
Description
技术领域
本发明属于大数据作业领域，尤其是涉及一种基于Kubernetes容器编排软件提交大数据计算作业的方法及装置。
背景技术
随着互联网行业的蓬勃发展，公司的数据规模呈现爆发式的增长，由于庞大的数据规模，使得大数据平台成为众多公司分析处理海量数据的有力工具。现有大数据平台提交大数据计算作业采用先选择安装大数据平台客户端程序的主机，然后在命令行输入执行大数据计算作业命令提交大数据计算作业的方式。
但是随着大数据计算作业数量大幅增多，使得提交大数据计算作业人员不能快速找到曾经提交过的大数据计算作业进行重复提交，使得提交相同大数据计算作业的效率低下。另外随着提交大数据计算作业的主机数量大幅增多，且不同主机的CPU、内存使用率差异很大。怎样在大数据作业过程中快速提交相同的大数据计算作业显得尤为重要。
发明内容
本发明要解决的技术问题是怎样在大数据作业过程中快速提交相同的大数据计算作业，提出了一种基于Kubernetes容器编排软件提交大数据计算作业的方法及装置。
为解决上述技术问题，本发明所采用的技术方案是：
一种基于Kubernetes容器编排软件提交大数据计算作业的方法，包括以下步骤：
步骤1：构建封装了大数据平台客户端程序的容器镜像文件，并将所述容器镜像保存到容器镜像仓库，得到容器镜像的位置路径；
步骤2：在Kubernetes容器编排软件中分别创建大数据源持久卷和大数据算法持久卷，并将所述大数据源持久卷的路径键指定为拟提交的大数据作业任务的大数据源的位置路径，将所述大数据算法持久卷的路径指定为拟提交的大数据作业任务的大数据算法的位置路径；
步骤3：在Kubernetes容器编排软件中分别创建大数据源持久卷声明和大数据算法持久卷声明，将所述大数据源持久卷声明的卷名称键与所述大数据源持久卷的卷名称绑定，将所述大数据算法持久卷声明的卷名称键与所述大数据算法的卷名称绑定；
步骤4：根据所述容器镜像的位置路径、所述大数据源持久卷声明以及大数据算法持久卷声明编辑Kubernetes容器编排软件中的Job控制器资源配置信息；
步骤5：判断拟提交的大数据作业任务是否为初次提交，若是，将所述Job控制器资源配置信息进行存储，根据所述Job控制器资源配置信息在Kubernetes容器编排软件中创建Job控制器资源，并将所述Job控制器资源所包含的Pod实例调度到主机上运行；若否，从存储的Job控制器资源配置信息库中找出准备提交的Job控制器资源配置信息，转步骤6；
步骤6：删除同一作业上次提交创建的Kubernetes容器编排软件中的Job控制器资源，在Kubernetes容器编排软件中再次创建Job控制器资源，将所述Job控制器资源包含的Pod实例调度到主机上运行。
进一步地，步骤4中将所述Job控制器资源配置信息进行存储的方法是将所述Job控制器资源配置信息存储进数据库或文件系统中。
进一步地，步骤4中所述Job控制器资源配置信息包括：
镜像键为所述容器镜像的位置路径；
命令键为执行大数据平台计算作业命令；
存储卷键为所述大数据源持久卷声明和大数据算法持久卷声明。
进一步地，步骤6中，所述主机为最优主机，所述最优主机为Kubernete容器编排软件的调度器组件根据集群中主机资源使用情况，优选出最适合的主机运行Pod实例。
进一步地，所述最优主机的选择方法是：选择CPU、内存使用率最低的主机作为最优主机。
进一步地，判断拟提交的大数据作业任务是否为初次提交的判断方法是：所述Job控制器资源配置信息是否在存储的Job控制器资源配置信息库中。
本发明还提供了一种基于Kubernetes容器编排软件提交大数据计算作业的装置，包括以下模块：
容器镜像位置路径获取模块：用于构建封装了大数据平台客户端程序的容器镜像文件，并将所述容器镜像保存到容器镜像仓库，得到容器镜像的位置路径；
大数据源及算法持久卷构建模块：用于在Kubernetes容器编排软件中分别创建大数据源持久卷和大数据算法持久卷，并将所述大数据源持久卷的路径键指定为拟提交的大数据作业任务的大数据源位置路径，将所述大数据算法持久卷的路径指定为拟提交的大数据作业任务的大数据算法位置路径；
大数据源及算法持久卷声明模块：用于在Kubernetes容器编排软件中分别创建大数据源持久卷声明和大数据算法持久卷声明，将所述大数据源持久卷声明的卷名称键与所述大数据源持久卷的卷名称绑定，将所述大数据算法持久卷声明的卷名称键与所述大数据算法的卷名称绑定；
Job控制器资源信息配置模块：用于根据所述容器镜像的位置路径、所述大数据源持久卷声明以及大数据算法持久卷声明编辑Kubernetes容器编排软件中的Job控制器资源配置信息，将所述Job控制器资源配置信息进行存储；
初次提交判断及运行模块：用于判断所提交的大数据作业任务是否为初次提交，若是，则根据所述Job控制器资源配置信息在Kubernetes容器编排软件中创建Job控制器资源，并将所述Job控制器资源所包含的Pod实例调度到主机上运行，若否，则从存储的Job控制器资源配置信息中找出准备提交的Job控制器资源配置信息，删除同一作业上次提交创建的Kubernetes容器编排软件中的Job控制器资源，在Kubernetes容器编排软件中再次创建Job控制器资源，将所述Job控制器资源包含的Pod实例调度到主机上运行。
采用上述技术方案，本发明具有如下有益效果：
本发明提供的一种基于Kubernetes容器编排软件提交大数据计算作业的方法及装置，通过将Job控制器资源配置信息存储起来，在再次对提交过的大数据计算作业进行提交时，只需要找到原来提交时的Job控制器资源配置信息，就可以执行大数据平台的计算作业命令，当有大量的作业需要再次提交时，可快速的选择已经提交过的大数据作业进行提交，节省了在命令行输入大量的执行大数据计算作业命令的时间，提升了大数据计算作业重复提交的效率。
附图说明
图1为本发明系统流程图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1示出了本发明一种基于Kubernetes容器编排软件提交大数据计算作业的方法的具体实施例，包括以下步骤：
步骤1：构建封装了大数据平台客户端程序的容器镜像，并将所述容器镜像保存到容器镜像仓库，得到容器镜像的位置路径。
本实施例中，大数据平台包括Spark、Hadoop等大数据平台。容器镜像为容器管理软件使用的镜像，容器管理软件包括Docker等容器管理软件。通过容器管理软件提供的方法，把大数据平台客户端程序封装到容器镜像中。构建容器镜像方法包括Dockerfile等。容器镜像仓库为存储容器镜像的存储库，包括Docker Registry、Harbor等容器镜像仓库。通过容器管理软件提供的方法，保存封装了大数据平台客户端程序的容器镜像到容器镜像仓库，方法包括：执行命令docker push等。
步骤2：在Kubernetes容器编排软件中分别创建大数据源持久卷和大数据算法持久卷，并将所述大数据源持久卷的路径键指定为拟提交的大数据作业任务的大数据源的位置路径，将所述大数据算法持久卷的路径指定为拟提交的大数据作业任务的大数据算法的位置路径。本实施例中，大数据数据源路径为大数据平台进行大数据计算使用的数据所存储的位置，大数据算法路径为大数据平台进行大数据计算使用的算法所存储的位置。在Kubernetes容器编排软件中创建PersistentVolume资源，指定PersistentVolume资源的路径配置为大数据数据源路径、大数据算法路径。大数据数据源路径、大数据算法路径可以分别创建PersistentVolume资源，也可以共用同一个路径创建一个PersistentVolume资源。
步骤3：在Kubernetes容器编排软件中分别创建大数据源持久卷声明和大数据算法持久卷声明，将所述大数据源持久卷声明的卷名称键与所述大数据源持久卷的卷名称绑定，将所述大数据算法持久卷声明的卷名称键与所述大数据算法的卷名称绑定。
步骤4：根据所述容器镜像的位置路径、所述大数据源持久卷声明以及大数据算法持久卷声明编辑Kubernetes容器编排软件中的Job控制器资源配置信息。本实施例中Job控制器资源配置信息中指定镜像键为封装大数据平台客户端程序的容器镜像的位置路径；命令键为执行大数据平台计算作业命令；存储卷键为所述大数据源持久卷声明和大数据算法持久卷声明。本实施例中，将执行大数据平台计算作业命令作为命令键写在Job控制器资源配置信息中，当拟提交的大数据作业任务不是初次提交的，只要从Job控制器资源配置信息找到存储的配置信息，就可以再次提交大数据作业任务，不需要在命令行中重复敲入一遍命令，对于大量的大数据作业需要重复提交时，使用保存的配置信息就会节省很多时间。
步骤5：判断拟提交的大数据作业任务是否为初次提交，若是，将所述Job控制器资源配置信息进行存储，根据所述Job控制器资源配置信息在Kubernetes容器编排软件中创建Job控制器资源，并将所述Job控制器资源所包含的Pod实例调度到主机上运行，若否，从存储的Job控制器资源配置信息库中找出准备提交的Job控制器资源配置信息，转步骤6。本实施例中，判断拟提交的大数据作业任务是否为初次提交的判断方法是：所述Job控制器资源配置信息是否在存储的Job控制器资源配置信息库中。存储的Job控制器资源配置信息库为：数据库、文件系统等。数据库和文件系统都是便于通过搜索指令进行查询的系统，在重复提交大数据作业时，通过历史Job控制器资源配置信息创建Job控制器资源，节省了时间，提升了重复作业的效率。本实施例中，根据搜索出的Job控制器资源配置信息在Kubernete容器编排软件中创建Job控制器资源的方法包括：kubectl apply等。
步骤6：删除同一作业上次提交创建的Kubernetes容器编排软件中的Job控制器资源，在Kubernetes容器编排软件中再次创建Job控制器资源，将所述Job控制器资源包含的Pod实例调度到主机上运行。本实施例中，Job控制器资源所包含的Pod资源由Kubernete容器编排软件的调度器组件根据集群中主机资源使用情况，将Pod调度到最优的主机之上运行，最优主机为Kubernete容器编排软件的调度器组件根据集群中主机资源使用情况，优选出最适合的主机运行Pod实例。本实施例中，最优主机的选择方法是：选择CPU、内存使用率最低的主机作为最优主机。在运行上述Pod时，执行Job控制器资源配置信息的命令键指定的执行大数据平台计算作业命令，从而实现大数据计算作业的提交。
本实施例中，在找出准备提交的Job控制器资源配置信息之前，删除Kubernetes容器编排软件中的Job控制器资源。然后在存储系统中，通过存储系统提供的搜索命令，搜索出准备提交的Job控制器资源配置信息，在Kubernete容器编排软件中创建Job控制器资源，运行Job控制器包含的Pod时，执行Job控制器资源配置信息的命令键指定的执行Hadoop大数据平台计算作业命令，实现Hadoop大数据计算作业的重复提交。
本发明还提供了一种基于Kubernetes容器编排软件提交大数据计算作业的装置，包括以下模块：
容器镜像位置路径获取模块：用于构建封装了大数据平台客户端程序的容器镜像文件，并将所述容器镜像保存到容器镜像仓库，得到容器镜像的位置路径；
大数据源及算法持久卷构建模块：用于在Kubernetes容器编排软件中分别创建大数据源持久卷和大数据算法持久卷，并将所述大数据源持久卷的路径键指定为拟提交的大数据作业任务的大数据源位置路径，将所述大数据算法持久卷的路径指定为拟提交的大数据作业任务的大数据算法位置路径；
大数据源及算法持久卷声明模块：用于在Kubernetes容器编排软件中分别创建大数据源持久卷声明和大数据算法持久卷声明，将所述大数据源持久卷声明的卷名称键与所述大数据源持久卷的卷名称绑定，将所述大数据算法持久卷声明的卷名称键与所述大数据算法的卷名称绑定；
Job控制器资源信息配置模块：用于根据所述容器镜像的位置路径、所述大数据源持久卷声明以及大数据算法持久卷声明编辑Kubernetes容器编排软件中的Job控制器资源配置信息，将所述Job控制器资源配置信息进行存储；
初次提交判断及运行模块：用于判断所提交的大数据作业任务是否为初次提交，若是，则根据所述Job控制器资源配置信息在Kubernetes容器编排软件中创建Job控制器资源，并将所述Job控制器资源所包含的Pod实例调度到主机上运行，若否，则从存储的Job控制器资源配置信息中找出准备提交的Job控制器资源配置信息，在Kubernetes容器编排软件中再次创建Job控制器资源，将所述Job控制器资源包含的Pod实例调度到主机上运行。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (7)
1.一种基于Kubernetes容器编排软件提交大数据计算作业的方法，其特征在于，包括以下步骤：
步骤1：构建封装了大数据平台客户端程序的容器镜像文件，并将所述容器镜像保存到容器镜像仓库，得到容器镜像的位置路径；
步骤2：在Kubernetes容器编排软件中分别创建大数据源持久卷和大数据算法持久卷，并将所述大数据源持久卷的路径键指定为拟提交的大数据作业任务的大数据源的位置路径，将所述大数据算法持久卷的路径指定为拟提交的大数据作业任务的大数据算法的位置路径；
步骤3：在Kubernetes容器编排软件中分别创建大数据源持久卷声明和大数据算法持久卷声明，将所述大数据源持久卷声明的卷名称键与所述大数据源持久卷的卷名称绑定，将所述大数据算法持久卷声明的卷名称键与所述大数据算法的卷名称绑定；
步骤4：根据所述容器镜像的位置路径、所述大数据源持久卷声明以及大数据算法持久卷声明编辑Kubernetes容器编排软件中的Job控制器资源配置信息；
步骤5：判断拟提交的大数据作业任务是否为初次提交，若是，将所述Job控制器资源配置信息进行存储，根据所述Job控制器资源配置信息在Kubernetes容器编排软件中创建Job控制器资源，并将所述Job控制器资源所包含的Pod实例调度到主机上运行；若否，从存储的Job控制器资源配置信息库中找出准备提交的Job控制器资源配置信息，转步骤6；
步骤6：删除同一作业上次提交创建的Kubernetes容器编排软件中的Job控制器资源，在Kubernetes容器编排软件中再次创建Job控制器资源，将所述Job控制器资源包含的Pod实例调度到主机上运行。
2.根据权利要求1所述的方法，其特征在于，步骤5中将所述Job控制器资源配置信息进行存储的方法是将所述Job控制器资源配置信息存储进数据库或文件系统中。
3.根据权利要求1所述的方法，其特征在于，步骤4中所述Job控制器资源配置信息包括：
镜像键为所述容器镜像的位置路径；
命令键为执行大数据平台计算作业命令；
存储卷键为所述大数据源持久卷声明和大数据算法持久卷声明。
4.根据权利要求1所述的方法，其特征在于，步骤6中，所述主机为最优主机，所述最优主机为Kubernete容器编排软件的调度器组件根据集群中主机资源使用情况，优选出最适合的主机运行Pod实例。
5.根据权利要求4所述的方法，其特征在于，所述最优主机的选择方法是：选择CPU、内存使用率最低的主机作为最优主机。
6.根据权利要求1所述的方法，其特征在于，判断拟提交的大数据作业任务是否为初次提交的判断方法是：所述Job控制器资源配置信息是否在存储的Job控制器资源配置信息库中。
7.一种基于Kubernetes容器编排软件提交大数据计算作业的装置，其特征在于，包括以下模块：
容器镜像位置路径获取模块：用于构建封装了大数据平台客户端程序的容器镜像文件，并将所述容器镜像保存到容器镜像仓库，得到容器镜像的位置路径；
大数据源及算法持久卷构建模块：用于在Kubernetes容器编排软件中分别创建大数据源持久卷和大数据算法持久卷，并将所述大数据源持久卷的路径键指定为拟提交的大数据作业任务的大数据源位置路径，将所述大数据算法持久卷的路径指定为拟提交的大数据作业任务的大数据算法位置路径；
大数据源及算法持久卷声明模块：用于在Kubernetes容器编排软件中分别创建大数据源持久卷声明和大数据算法持久卷声明，将所述大数据源持久卷声明的卷名称键与所述大数据源持久卷的卷名称绑定，将所述大数据算法持久卷声明的卷名称键与所述大数据算法的卷名称绑定；
Job控制器资源信息配置模块：用于根据所述容器镜像的位置路径、所述大数据源持久卷声明以及大数据算法持久卷声明编辑Kubernetes容器编排软件中的Job控制器资源配置信息，将所述Job控制器资源配置信息进行存储；
初次提交判断及运行模块：用于判断所提交的大数据作业任务是否为初次提交，若是，则根据所述Job控制器资源配置信息在Kubernetes容器编排软件中创建Job控制器资源，并将所述Job控制器资源所包含的Pod实例调度到主机上运行，若否，则从存储的Job控制器资源配置信息中找出准备提交的Job控制器资源配置信息，删除同一作业上次提交创建的Kubernetes容器编排软件中的Job控制器资源，在Kubernetes容器编排软件中再次创建Job控制器资源，将所述Job控制器资源包含的Pod实例调度到主机上运行。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111311324.3A CN113741961B (zh) | 2021-11-08 | 2021-11-08 | 基于Kubernetes容器编排软件提交大数据计算作业的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111311324.3A CN113741961B (zh) | 2021-11-08 | 2021-11-08 | 基于Kubernetes容器编排软件提交大数据计算作业的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113741961A true CN113741961A (zh) | 2021-12-03 |
| CN113741961B CN113741961B (zh) | 2022-02-01 |
Family
ID=78727686
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111311324.3A Active CN113741961B (zh) | 2021-11-08 | 2021-11-08 | 基于Kubernetes容器编排软件提交大数据计算作业的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113741961B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114356587A (zh) * | 2022-03-17 | 2022-04-15 | 梯度云科技(北京)有限公司 | 算力任务跨区域调度方法、系统及设备 |
| CN114490834A (zh) * | 2022-04-07 | 2022-05-13 | 梯度云科技(北京)有限公司 | 基于Kubernetes更换大数据计算作业数据源的方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140201752A1 (en) * | 2013-01-14 | 2014-07-17 | Microsoft Corporation | Multi-tenant license enforcement across job requests |
| CN107657018A (zh) * | 2017-09-26 | 2018-02-02 | 北京思特奇信息技术股份有限公司 | 一种防止数据重复提交的方法及系统 |
| CN110275775A (zh) * | 2019-05-17 | 2019-09-24 | 平安科技（深圳）有限公司 | 容器应用的资源配置方法、系统及存储介质 |
| CN111352717A (zh) * | 2020-03-24 | 2020-06-30 | 广西梯度科技有限公司 | 一种实现kubernetes自定义调度器的方法 |
| CN111880738A (zh) * | 2020-07-29 | 2020-11-03 | 浪潮云信息技术股份公司 | 一种K8s环境自动化创建和挂载LVM卷的方法 |
| CN112445602A (zh) * | 2019-08-27 | 2021-03-05 | 阿里巴巴集团控股有限公司 | 资源调度方法、装置、系统及电子设备 |
| CN112527349A (zh) * | 2020-12-02 | 2021-03-19 | 航天科工网络信息发展有限公司 | 动态部署策略优化及持续部署业务保障系统 |
| US20210303365A1 (en) * | 2020-03-26 | 2021-09-30 | Vmware, Inc. | System and method for benchmarking a container orchestration platform |
-
2021
- 2021-11-08 CN CN202111311324.3A patent/CN113741961B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140201752A1 (en) * | 2013-01-14 | 2014-07-17 | Microsoft Corporation | Multi-tenant license enforcement across job requests |
| CN107657018A (zh) * | 2017-09-26 | 2018-02-02 | 北京思特奇信息技术股份有限公司 | 一种防止数据重复提交的方法及系统 |
| CN110275775A (zh) * | 2019-05-17 | 2019-09-24 | 平安科技（深圳）有限公司 | 容器应用的资源配置方法、系统及存储介质 |
| CN112445602A (zh) * | 2019-08-27 | 2021-03-05 | 阿里巴巴集团控股有限公司 | 资源调度方法、装置、系统及电子设备 |
| CN111352717A (zh) * | 2020-03-24 | 2020-06-30 | 广西梯度科技有限公司 | 一种实现kubernetes自定义调度器的方法 |
| US20210303365A1 (en) * | 2020-03-26 | 2021-09-30 | Vmware, Inc. | System and method for benchmarking a container orchestration platform |
| CN111880738A (zh) * | 2020-07-29 | 2020-11-03 | 浪潮云信息技术股份公司 | 一种K8s环境自动化创建和挂载LVM卷的方法 |
| CN112527349A (zh) * | 2020-12-02 | 2021-03-19 | 航天科工网络信息发展有限公司 | 动态部署策略优化及持续部署业务保障系统 |
Non-Patent Citations (2)
| Title |
|---|
| 张勋等: "一种基于容器编排技术的资源运维系统的设计与实现", 《电信科学》 * |
| 张智雄: "面向大规模异构评测任务的容器集群管理方法", 《中国优秀博硕士学位论文全文数据库(硕士)》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114356587A (zh) * | 2022-03-17 | 2022-04-15 | 梯度云科技(北京)有限公司 | 算力任务跨区域调度方法、系统及设备 |
| CN114356587B (zh) * | 2022-03-17 | 2022-07-05 | 梯度云科技(北京)有限公司 | 算力任务跨区域调度方法、系统及设备 |
| CN114490834A (zh) * | 2022-04-07 | 2022-05-13 | 梯度云科技(北京)有限公司 | 基于Kubernetes更换大数据计算作业数据源的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113741961B (zh) | 2022-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113741961B (zh) | 基于Kubernetes容器编排软件提交大数据计算作业的方法及装置 | |
| US9400700B2 (en) | Optimized system for analytics (graphs and sparse matrices) operations | |
| Teodoro et al. | Approximate similarity search for online multimedia services on distributed CPU–GPU platforms | |
| CN109740765B (zh) | 一种基于亚马逊网络服务器的机器学习系统搭建方法 | |
| US20180046561A1 (en) | System, controller, method, and program for executing simulation jobs | |
| CN111049889B (zh) | 一种静态资源上传方法、装置、集成服务器和系统 | |
| CN112286917B (zh) | 数据处理方法、装置、电子设备和存储介质 | |
| CN112699040B (zh) | 压力测试方法、装置、设备及计算机可读存储介质 | |
| CN111488323B (zh) | 一种数据处理方法、装置及电子设备 | |
| CN115391427A (zh) | Impala自动化伸缩的系统、方法、介质及设备 | |
| US11880703B2 (en) | Optimization of multi-layered images | |
| CN1152338C (zh) | 一种并行处理分布式数据库的方法和装置 | |
| CN111767126A (zh) | 分布式批量处理的系统和方法 | |
| CN113434265A (zh) | 工作流调度方法、服务器和介质 | |
| CN115756520A (zh) | 一种分布式集群中的FlinkSQL部署方法及装置 | |
| Rekachinsky et al. | Modeling parallel processing of databases on the central processor Intel Xeon Phi KNL | |
| CN115576899A (zh) | 构建索引的方法和装置以及文件查找方法和装置 | |
| CN111858489B (zh) | 一种基于自适应元数据模板的多源异构空间数据归档方法 | |
| CN114218278A (zh) | http接口的数据表字段查询方法及系统 | |
| Teodoro et al. | Adaptive parallel approximate similarity search for responsive multimedia retrieval | |
| CN114443927A (zh) | 一种高效网络爬取方法及装置 | |
| US9304829B2 (en) | Determining and ranking distributions of operations across execution environments | |
| Giao et al. | A framework for similarity search in streaming time series based on spark streaming | |
| CN111399818A (zh) | 推荐引擎设计方法、装置、服务器及存储介质 | |
| CN111290855A (zh) | 分布式环境中多gpu服务器的gpu卡管理方法、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220406 Address after: 530000 room 1516-11, standard workshop complex building, Lihui science and Technology Industrial Park, No. 5 Hongsheng Road, Nanning, Guangxi Zhuang Autonomous Region Patentee after: Guangxi Gradient Technology Co.,Ltd. Address before: 101100 Room 502, 5 / F, building 4, yard 1, Yuxi 1st Street, Tongzhou District, Beijing 713 Patentee before: Gradient cloud technology (Beijing) Co.,Ltd. |
|
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 530033 room 1516-11, standard workshop complex building, Lihui science and Technology Industrial Park, No. 5, Hongsheng Road, Nanning, Guangxi Zhuang Autonomous Region Patentee after: Guangxi Gradient Technology Co.,Ltd. Address before: 530000 room 1516-11, standard workshop complex building, Lihui science and Technology Industrial Park, No. 5 Hongsheng Road, Nanning, Guangxi Zhuang Autonomous Region Patentee before: Guangxi Gradient Technology Co.,Ltd. |