CN112799777B - 一种流水线中预热调度的方法 - Google Patents
一种流水线中预热调度的方法 Download PDFInfo
- Publication number
- CN112799777B CN112799777B CN202011634292.6A CN202011634292A CN112799777B CN 112799777 B CN112799777 B CN 112799777B CN 202011634292 A CN202011634292 A CN 202011634292A CN 112799777 B CN112799777 B CN 112799777B
- Authority
- CN
- China
- Prior art keywords
- mirror image
- pipeline
- deployed
- base layer
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000011065 in-situ storage Methods 0.000 claims abstract description 5
- 238000003860 storage Methods 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 abstract description 3
- 238000010276 construction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036316 preload Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45504—Abstract machines for programme code execution, e.g. Java virtual machine [JVM], interpreters, emulators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45562—Creating, deleting, cloning virtual machine instances
Abstract
本发明公开了一种流水线中预热调度的方法，包括以下步骤：S1、获取流水线参数创建流水线，将待部署yaml文件中的原生资源转换为支持升级的资源，然后运行流水线；S2、根据流水线参数提取基础层镜像信息，将基础层镜像信息替换待部署yaml文件中的业务镜像信息得到新的待部署yaml文件后部署至用户集群；S3、容器集群pod根据流水线参数得到业务镜像并存储于镜像仓库；S4、用户集群部署新的待部署yaml文件后创建应用，应用从镜像仓库拉取基础层镜像，应用重新启动时再从镜像仓库拉取业务镜像替换基础层镜像，通过原地升级的方式获取业务镜像。本发明使用户业务镜像部署时间大大缩短，提高了用户业务的部署效率。
Description
技术领域
本发明涉及云原生数据调度方法领域，具体是一种流水线中预热调度的方法。
背景技术
现有的云原生的基于容器集群pod的数据调度方法包括以下步骤：1、拉取代码：从代码库上拉取代码。2、镜像构建：根据拉取的代码获取业务镜像信息，并生成包含业务镜像信息的待部署yaml文件后送入至用户集群，同时由容器集群pod创建业务镜像信息，创建业务镜像时从自身镜像库中逐层拉取构成业务镜像的基础层镜像以及其他层信息，创建的业务镜像存储于镜像库。3、应用部署：用户集群接收待部署yaml文件后，从容器集群pod的镜像库中拉取业务镜像并加载，完成业务镜像的部署。现有技术创建应用时的流水线数据调度方法存在的问题是应用需要等业务镜像构建完成后才能触发，此时需要先拉取基础层镜像，尤其当业务镜像较多时，耗费时间较长。
发明内容
本发明的目的是提供一种流水线中预热调度的方法，以解决现有技术云原生中容器集群pod的流水线数据调度方法存在的耗时长、数据部署效率低的问题。
为了达到上述目的，本发明所采用的技术方案为：
一种流水线中预热调度的方法，其特征在于，包括以下步骤：
S1、获取用户填写的包括待部署yaml文件的流水线参数，基于流水线参数在容器集群pod创建流水线，流水线创建后将待部署yaml文件中的原生资源转换为支持升级的资源，然后运行流水线；
S2、根据步骤S1获取的流水线参数提取基础层镜像信息，并将基础层镜像信息替换待部署yaml文件中的业务镜像信息，得到新的待部署yaml文件，然后将新的待部署yaml文件部署至用户集群；
S3、步骤S2将新的待部署yaml文件部署至用户集群的同时，由容器集群pod根据步骤S1获取的流水线参数执行流水线的构建镜像动作，得到业务镜像，并将业务镜像推送至镜像仓库；
S4、用户集群部署新的待部署yaml文件后创建应用，应用基于新的待部署yaml文件的基础层镜像信息从镜像仓库拉取基础层镜像，应用重新启动时再从镜像仓库拉取步骤S3得到的业务镜像替换基础层镜像，由此通过原地升级的方式获取业务镜像。
所述的一种流水线中预热调度的方法，其特征在于，其特征在于：步骤S1中的流水线参数还包括代码库信息，步骤S2中基于流水线参数中的代码库信息拉取代码，并基于拉取的代码提取基础层镜像信息。
所述的一种流水线中预热调度的方法，其特征在于，其特征在于：步骤S2中，根据代码库信息中包含的Dockerfile路径参数拉取代码，从拉取的代码中的Dockerfile文件提取基础层镜像信息。
所述的一种流水线中预热调度的方法，其特征在于，其特征在于：步骤S2
中新的部署yaml文件部署至用户集群时，由容器集群pod向用户集群分配匹配的节点，步骤S4中用户集群通过分配的节点从容器集群pod的镜像仓库中拉取镜像。
一种流水线中预热调度中构成用户集群的计算机，其特征在于，所述计算机的可读存储介质中存储有程序指令，通过运行程序指令执行所述方法中用户集群的数据处理过程。
一种流水线中预热调度中构成容器集群pod的服务器，其特征在于，所述服务器的可读存储介质中存储有程序指令，通过运行程序指令执行所述方法中容器集群pod的数据处理过程。
与现有技术相比，本发明通过提前部署yaml文件，能够预先加载基础层镜像，达到用户业务镜像预热的目的，并采用原地升级的方式使用户集群获取业务镜像，使用户业务镜像部署时间大大缩短，提高了用户业务的部署效率。
附图说明
图1是本发明方法流程框图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
如图1所示，一种流水线中预热调度的方法，包括以下步骤：
S1、获取用户填写的包括待部署yaml文件的流水线参数，所述流水线参数至少包括代码库信息、待部署yaml文件，基于流水线参数在容器集群pod创建流水线，流水线创建后将待部署yaml文件中的k8s原生资源deploymeny、statefulset等分别转换为UnitedDeployment、AdvanedStatefulSet等支持升级的资源，然后运行流水线；
S2、根据步骤S1获取的流水线参数中的代码库信息中包含的Dockerfile路径参数拉取代码，从拉取的代码中的Dockerfile文件提取基础层镜像信息，并将基础层镜像信息替换待部署yaml文件中的业务镜像信息，得到新的待部署yaml文件，然后将新的待部署yaml文件部署至用户集群；
S3、步骤S2将新的待部署yaml文件部署至用户集群的同时，由容器集群pod根据步骤S1获取的流水线参数执行流水线的构建镜像动作，得到业务镜像，并将业务镜像推送至镜像仓库；
S4、用户集群部署新的待部署yaml文件后创建应用，由容器集群pod向用户集群分配匹配的节点，用户集群基于新的待部署yaml文件的基础层镜像信息,通过分配的节点从容器集群pod的镜像仓库中拉取基础层镜像，应用重新启动时再从镜像仓库拉取步骤S3得到的业务镜像替换基础层镜像，由此通过原地升级的方式获取业务镜像。
本发明还公开了一种流水线中预热调度中构成用户集群的计算机，计算机的可读存储介质中存储有程序指令，通过运行程序指令执行所述方法中用户集群的数据处理过程。
本发明还公开了一种流水线中预热调度中构成容器集群pod的服务器，服务器的可读存储介质中存储有程序指令，通过运行程序指令执行所述方法中容器集群pod的数据处理过程。
本发明所述的实施例仅仅是对本发明的优选实施方式进行的描述，并非对本发明构思和范围进行限定，在不脱离本发明设计思想的前提下，本领域中工程技术人员对本发明的技术方案作出的各种变型和改进，均应落入本发明的保护范围，本发明请求保护的技术内容，已经全部记载在权利要求书中。
Claims (6)
1.一种流水线中预热调度的方法，其特征在于，包括以下步骤：
S1、获取用户填写的包括待部署yaml文件的流水线参数，基于流水线参数在容器集群pod创建流水线，流水线创建后将待部署yaml文件中的原生资源转换为支持升级的资源，然后运行流水线；
S2、根据步骤S1获取的流水线参数提取基础层镜像信息，并将基础层镜像信息替换待部署yaml文件中的业务镜像信息，得到新的待部署yaml文件，然后将新的待部署yaml文件部署至用户集群；
S3、步骤S2将新的待部署yaml文件部署至用户集群的同时，由容器集群pod根据步骤S1获取的流水线参数执行流水线的构建镜像动作，得到业务镜像，并将业务镜像推送至镜像仓库；
S4、用户集群部署新的待部署yaml文件后创建应用，应用基于新的待部署yaml文件的基础层镜像信息从镜像仓库拉取基础层镜像，应用重新启动时再从镜像仓库拉取步骤S3得到的业务镜像替换基础层镜像，由此通过原地升级的方式获取业务镜像。
2.根据权利要求1所述的一种流水线中预热调度的方法，其特征在于，其特征在于：步骤S1中的流水线参数还包括代码库信息，步骤S2中基于流水线参数中的代码库信息拉取代码，并基于拉取的代码提取基础层镜像信息。
3.根据权利要求2所述的一种流水线中预热调度的方法，其特征在于，其特征在于：步骤S2中，根据代码库信息中包含的Dockerfile路径参数拉取代码，从拉取的代码中的Dockerfile文件提取基础层镜像信息。
4.根据权利要求1所述的一种流水线中预热调度的方法，其特征在于，其特征在于：步骤S2中新的部署yaml文件部署至用户集群时，由容器集群pod向用户集群分配匹配的节点，步骤S4中用户集群通过分配的节点从容器集群pod的镜像仓库中拉取镜像。
5.一种流水线中预热调度中构成用户集群的计算机，其特征在于，所述计算机的可读存储介质中存储有程序指令，通过运行程序指令执行权利要求1-4中任意一项所述方法中用户集群的数据处理过程。
6.一种流水线中预热调度中构成容器集群pod的服务器，其特征在于，所述服务器的可读存储介质中存储有程序指令，通过运行程序指令执行权利要求1-4中任意一项所述方法中容器集群pod的数据处理过程。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011634292.6A CN112799777B (zh) | 2020-12-31 | 2020-12-31 | 一种流水线中预热调度的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011634292.6A CN112799777B (zh) | 2020-12-31 | 2020-12-31 | 一种流水线中预热调度的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112799777A CN112799777A (zh) | 2021-05-14 |
| CN112799777B true CN112799777B (zh) | 2024-04-05 |
Family
ID=75808527
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011634292.6A Active CN112799777B (zh) | 2020-12-31 | 2020-12-31 | 一种流水线中预热调度的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112799777B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114756261B (zh) * | 2022-03-23 | 2023-04-18 | 广域铭岛数字科技有限公司 | 一种容器集群的升级方法、系统、电子设备及介质 |
| CN117033325B (zh) * | 2023-10-08 | 2023-12-26 | 恒生电子股份有限公司 | 镜像文件的预热拉取方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106888254A (zh) * | 2017-01-20 | 2017-06-23 | 华南理工大学 | 一种基于Kubernetes的容器云架构及其各模块之间的交互方法 |
| CN107515776A (zh) * | 2017-07-18 | 2017-12-26 | 深信服科技股份有限公司 | 业务不间断升级方法、待升级节点和可读存储介质 |
| WO2019095936A1 (zh) * | 2017-11-15 | 2019-05-23 | 腾讯科技（深圳）有限公司 | 容器镜像的构建方法、系统、服务器、装置及存储介质 |
| CN109885316A (zh) * | 2019-02-18 | 2019-06-14 | 国家计算机网络与信息安全管理中心 | 基于kubernetes的hdfs-hbase部署方法及装置 |
| CN111258609A (zh) * | 2020-01-19 | 2020-06-09 | 北京百度网讯科技有限公司 | Kubernetes集群的升级方法、装置、电子设备和介质 |
| CN112084009A (zh) * | 2020-09-17 | 2020-12-15 | 湖南长城科技信息有限公司 | PK体系下基于容器化技术构建和监控Hadoop集群与告警的方法 |
-
2020
- 2020-12-31 CN CN202011634292.6A patent/CN112799777B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106888254A (zh) * | 2017-01-20 | 2017-06-23 | 华南理工大学 | 一种基于Kubernetes的容器云架构及其各模块之间的交互方法 |
| CN107515776A (zh) * | 2017-07-18 | 2017-12-26 | 深信服科技股份有限公司 | 业务不间断升级方法、待升级节点和可读存储介质 |
| WO2019095936A1 (zh) * | 2017-11-15 | 2019-05-23 | 腾讯科技（深圳）有限公司 | 容器镜像的构建方法、系统、服务器、装置及存储介质 |
| CN109885316A (zh) * | 2019-02-18 | 2019-06-14 | 国家计算机网络与信息安全管理中心 | 基于kubernetes的hdfs-hbase部署方法及装置 |
| CN111258609A (zh) * | 2020-01-19 | 2020-06-09 | 北京百度网讯科技有限公司 | Kubernetes集群的升级方法、装置、电子设备和介质 |
| CN112084009A (zh) * | 2020-09-17 | 2020-12-15 | 湖南长城科技信息有限公司 | PK体系下基于容器化技术构建和监控Hadoop集群与告警的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112799777A (zh) | 2021-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112799777B (zh) | 一种流水线中预热调度的方法 | |
| US10572285B2 (en) | Method and apparatus for elastically scaling virtual machine cluster | |
| WO2019000630A1 (zh) | 多任务调度方法、系统、应用服务器及计算机可读存储介质 | |
| CN112269640B (zh) | 一种实现容器云组件的生命周期管理的方法 | |
| CN108572845B (zh) | 分布式微服务集群的升级方法及相关系统 | |
| CN1755720A (zh) | 用于缓存或同步项目数据的方法和系统 | |
| CN107729020A (zh) | 一种实现大规模容器快速部署的方法 | |
| CN109165206B (zh) | 基于容器的hdfs高可用实现方法 | |
| CN103310460A (zh) | 图像特征提取的方法及系统 | |
| CN103064717A (zh) | 一种集群系统并行安装软件的装置和方法 | |
| CN109240716B (zh) | 一种大数据平台版本管理与快速迭代部署方法及系统 | |
| CN113568624A (zh) | 一种镜像的拉取方法、系统、计算机设备及可读存储介质 | |
| CN104899274A (zh) | 一种内存数据库高效远程访问方法 | |
| CN105260190A (zh) | 基于安卓系统分发技术的安卓应用的运行方法和系统 | |
| CN102946413A (zh) | 虚拟机调度和执行部署过程中的资源预处理方法及系统 | |
| CN102833272A (zh) | 一种基于用户订阅的下载方法及装置 | |
| CN110275719B (zh) | 基于国产cpu和操作系统的云物理主机操作系统部署方法 | |
| CN113032126A (zh) | 一种高并发云工作流调度引擎跨集群通信系统及方法 | |
| CN110532058B (zh) | 容器集群服务的管理方法、装置、设备及可读存储介质 | |
| CN111522622A (zh) | 一种基于云平台的k8s快速启动方法 | |
| CN102497410B (zh) | 一种云计算系统计算资源动态分区的方法 | |
| CN111857953A (zh) | 一种容器集群管理方法、装置、设备及可读存储介质 | |
| CN102045389A (zh) | 一种基于osgi的分布式数据存储方法 | |
| CN115480785A (zh) | 基于容器的服务部署方法、装置和服务器 | |
| CN108334374A (zh) | 组件动态加载与执行的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220722 Address after: 100089 Room 502, floor 5, building 16, East District, yard 10, northwest Wangdong Road, Haidian District, Beijing Applicant after: Softcom power information technology (Group) Co.,Ltd. Address before: 311100 Room 802, building 12, 1818-2, Wenyi West Road, Yuhang street, Yuhang District, Hangzhou City, Zhejiang Province Applicant before: HANGZHOU LANGCHE TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220908 Address after: 518003 Floor 2-24, Building A, Zhongshe Plaza, No. 1028, Buji Road, Dongxiao Street, Luohu District, Shenzhen, Guangdong, China Applicant after: Shenzhen Softcom Power Information Technology Co.,Ltd. Address before: 100089 Room 502, floor 5, building 16, East District, yard 10, northwest Wangdong Road, Haidian District, Beijing Applicant before: Softcom power information technology (Group) Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |