CN114443221A - 基于buildah构建跨平台容器镜像的方法、系统及电子设备 - Google Patents

基于buildah构建跨平台容器镜像的方法、系统及电子设备 Download PDF

Info

Publication number
CN114443221A
CN114443221A CN202210027222.7A CN202210027222A CN114443221A CN 114443221 A CN114443221 A CN 114443221A CN 202210027222 A CN202210027222 A CN 202210027222A CN 114443221 A CN114443221 A CN 114443221A
Authority
CN
China
Prior art keywords
platform
build
cross
mirror image
cpu architecture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210027222.7A
Other languages
English (en)
Inventor
宋景略
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XCMG Hanyun Technologies Co Ltd
Original Assignee
XCMG Hanyun Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by XCMG Hanyun Technologies Co Ltd filed Critical XCMG Hanyun Technologies Co Ltd
Priority to CN202210027222.7A priority Critical patent/CN114443221A/zh
Publication of CN114443221A publication Critical patent/CN114443221A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/40—Transformation of program code
    • G06F8/41—Compilation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/61—Installation
    • G06F8/63—Image based installation; Cloning; Build to order
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45562—Creating, deleting, cloning virtual machine instances

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Stored Programmes (AREA)

Abstract

本发明公开一种基于buildah构建跨平台容器镜像的方法、系统及电子设备，方法包括：启用QEMU模拟器，为构建跨平台容器镜像提供多种CPU架构；启用binfmt_misc，将目标平台的CPU架构转换为当前系统支持的CPU架构；启用buildah工具，传入目标平台的CPU架构信息，根据CPU架构信息拉取基础镜像，对多个目标平台的容器镜像进行构建。调用QEMU模拟器来执行不同CPU指令集；再调用binfmt_misc支持工具，以便能够支持二进制，并在注册QEMU模拟器时实际使用；最后采用buildah工具来构建跨平台的CPU架构的容器镜像，根据指定的CPU架构信息拉取特定的基础镜像，无需在文件做变量替换等方式，简化了Dokcerfile编写和使用的复杂度。

Description

基于buildah构建跨平台容器镜像的方法、系统及电子设备
技术领域
本发明涉及计算机程序技术领域，具体涉及一种基于buildah构建跨平台容器镜像的方法、系统及电子设备。
背景技术
在日常工作中，经常需要将某个程序跑在不同的CPU架构上，比如让某些软件运行在嵌入式路由器设备上。特别是容器技术席卷全球之后，可以轻松地在ARM设备上通过容器部署各种应用，而不用在意各种系统的差异性。但是想要跨平台构建容器镜像并不是一件轻松的活，要么到不同CPU架构的系统上全部构建一遍，要么就得在当前系统上通过虚拟化技术模拟不同的CPU架构，最后可能还要想办法合并镜像。
要实现一次构建，随处可用，挑战在于：Linux、Windows这些不同的操作系统拥有不同的系统API；x86、Arm、IBM PowerPC这些不同的硬件平台的指令集不同，某些同平台的硬件甚至拥有不同的专用指令集用于加速应用。因此，要构建能够在不同操作系统、不同硬件平台的运行的应用程序，仍然需要工程师们针对具体的操作系统和硬件平台进行海量的移植工作。
经检索发现，公开号CN111309451A的中国专利于2020年06月19日公开了一种实现Docker镜像交叉编译的方法，具体包括以下步骤：S1、在Docker镜像交叉编译环境系统上安装qemu-user-static服务程序，S2、检查Linux系统中的binfmt_misc是否注册对应的模拟器配置，S3、确定需要交叉编译的Docker镜像的CPU架构类型，S4、编写构建Docker镜像的Dockerfile文件，不同目标CPU架构的Docker镜像使用同一个Dockerfile文件来构建，S5、通过查看生成的Docker镜像中的标识来确认校验生成的Docker镜像是否为目标CPU架构的镜像，本发明涉及计算机程序技术领域。该实现Docker镜像交叉编译的方法，在启动应用编译环境时，能够完全的屏蔽掉底层硬件设施的差异，解决了跨平台交叉编译的问题，从而使得能够在快速启动应用交叉编译环境的同时，也能够屏蔽掉底层硬件差异带来的问题。
但是，该专利需下载基础镜像并更改tag，增加dockerfile环境变量，构建容器镜像的方法相对复杂。因此，基于buildah工具，研究并使用更为简单的方法，实现容器镜像的构建，仍然是本领域技术人员研究的方向。
发明内容
为克服上述现有技术的不足，本发明提供一种基于buildah构建跨平台容器镜像的方法、系统及电子设备，使用更为简单的方法，实现容器镜像的构建。
本发明一方面提供一种基于buildah构建跨平台容器镜像的方法，包括，启用QEMU模拟器，为构建跨平台容器镜像提供多种CPU架构；启用binfmt_misc，将目标平台的CPU架构转换为当前系统支持的CPU架构；启用buildah工具，传入目标平台的CPU架构信息，根据CPU架构信息拉取基础镜像，对多个目标平台的容器镜像进行构建。
上述技术方案中，调用QEMU模拟器来执行不同CPU指令集；再调用binfmt_misc支持工具，以便能够支持二进制，并在注册QEMU模拟器时实际使用；最后采用buildah工具来构建跨平台的CPU架构的容器镜像，根据指定的CPU架构信息拉取特定的基础镜像，无需在文件做变量替换等方式，简化了Dokcerfile编写和使用的复杂度。
优选地，将目标平台的CPU架构转换为当前系统支持的CPU架构，进一步包括：由QEMU模拟器将通过binfmt_misc在Linux内核中注册一个二进制转换处理程序，并在程序运行时动态翻译二进制文件，将目标平台的CPU架构转换为当前系统支持的CPU架构。
具体地，转换CPU架构，最终的效果看起来就像在本地运行目标CPU架构的二进制文件。
优选地，创建manifest，合并构建得到的多个目标平台的容器镜像，将合并的结果上传至镜像仓库。
具体地，将容器镜像合并之后整体上传到镜像仓库，避免单个多次上传；使用时也会根据跨平台的宿主机CPU架构自动拉取对应容器镜像，这对于容器镜像的管理和后续使用提供了便利。
优选地，构建跨平台容器镜像的形式包括但不限于命令行和Dockerfile。
优选地，构建跨平台容器镜像的操作系统包括但不限于windows和linux。
优选地，若使用linux操作系统构建跨平台容器镜像，则需要手动启用binfmt_misc。
具体地，有多种实现方式方式手动启用binfmt_misc，包括“qemu-user-binfmt”，“qemu-user-static”，“binfmt”，设置可以利用docker，podman等运行容器实现该功能。
本发明还一方面提供一种基于buildah构建跨平台容器镜像的系统，用于实现所述基于buildah构建跨平台容器镜像的方法的步骤，包括，CPU架构提供模块，用于启用QEMU模拟器，为构建跨平台容器镜像提供多种CPU架构；CPU架构转换模块，用于启用binfmt_misc，将目标平台的CPU架构转换为当前系统支持的CPU架构；容器镜像构建模块，用于启用buildah工具，传入目标平台的CPU架构信息，根据CPU架构信息拉取基础镜像，对多个目标平台的容器镜像进行构建。
优选地，系统还包括容器镜像合并模块，用于创建manifest，合并构建的不同CPU架构的容器镜像，将合并的结果上传至镜像仓库。
具体地，所述CPU架构提供模块为构建跨平台容器镜像提供多种CPU架构；所述CPU架构转换模块将跨平台的CPU架构转换为当前系统支持的CPU架构；所述容器镜像构建模块通过一个Dockerfile构建不同CPU架构的容器镜像；所述容器镜像合并模块合并构建的不同CPU架构的容器镜像，将合并的结果上传至镜像仓库。
本发明另一方面提供一种电子设备，所述设备包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现所述基于buildah构建跨平台容器镜像的方法。
与现有技术相比，本发明的有益效果包括：
(1)本发明调用QEMU模拟器来执行不同CPU指令集；再调用binfmt_misc支持工具，以便能够支持二进制，并在注册QEMU模拟器时实际使用；最后采用buildah工具来构建跨平台的CPU架构的容器镜像，根据指定的CPU架构信息拉取特定的基础镜像，无需在文件做变量替换等方式，简化了Dokcerfile编写和使用的复杂度；
(2)本发明采用的buildah工具支持OCI标准的容器规范，buildah不同于docker的进程运行模式，而是一个二进制程序，并且不需要root权限即可完成构建，相对于docker更稳定更安全；
(3)本发明构建跨平台容器镜像之后，建立manifest，将容器镜像合并之后整体上传到镜像仓库，避免单个多次上传；使用时也会根据跨平台的宿主机CPU架构自动拉取对应容器镜像，这对于容器镜像的管理和后续使用提供了便利。
附图说明
图1为根据本发明实施例的方法流程图；
图2为根据本发明实施例的方法过程图；
图3为根据本发明实施例的系统结构示意图；
图4为根据本发明实施例的电子设备连接示意图。
具体实施方式
以下将结合附图对本发明各实施例的技术方案进行清楚、完整的描述，显然，所描述发实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。
本发明公开了一种基于buildah构建跨平台的容器镜像方法、系统及电子设备，利用本方法可以对代码进行一次编译构建跨平台运行。本方法首先对构建计算机安装QEMU模拟器来执行不同cpu指令集；之后安装binfmt_misc支持工具，以便能够支持fix-binary(F)标志，并在注册QEMU模拟器时实际使用；最后安装buildah来构建不同操作系统和目标平台的容器镜像。本发明能够以非root权限和无需守护进程的方式方便快捷的构建跨平台的容器镜像，真正做到一次构建，多平台运行，解决了程序编译过程中的繁琐步骤。同时利用buildah替换掉docker，做到构建过程的安全可控。
如图1-图2所示，本发明一方面提供一种基于buildah构建跨平台容器镜像的方法，包括，启用QEMU模拟器，为构建跨平台容器镜像提供多种CPU架构；启用binfmt_misc，将目标平台的CPU架构转换为当前系统支持的CPU架构；启用buildah工具，传入目标平台的CPU架构信息，根据CPU架构信息拉取基础镜像，对多个目标平台的容器镜像进行构建。
进一步地，创建manifest，合并构建得到的多个目标平台的容器镜像，将合并的结果上传至镜像仓库。
具体地，目标机器指代对容器镜像进行构建的机器，目标平台指代对构建完成的容器镜像进行使用的机器。
方法具体包括：
步骤1：在目标机器上安装QEMU并启动，QEMU支持许多常见的CPU架构，包括ARM、Power-PC和RISC-V等，使得目标机器能够模拟各类CPU，这是能够构建不同CPU平台容器镜像的基础。
步骤2：在目标机器上安装并启用binfmt_misc，QEMU将通过binfmt_misc在Linux内核中注册一个二进制转换处理程序，并在程序运行时动态翻译二进制文件，根据需要将系统调用从目标CPU架构转换为当前系统的CPU架构。最终的效果看起来就像在本地运行目标CPU架构的二进制文件。
步骤3：安装buildah工具，对目标代码进行构建，并将生成容器镜像进行上传到仓库；buildah支持OCI标准的容器规范，buildah不同于docker的进程运行模式，而是一个二进制程序，并且不需要root权限即可完成构建。因此相对于docker更稳定更安全。采用buildah分别构建各种CPU平台容器镜像，创建合并manifest，之后一并上传到镜像仓库。
进一步地，所述步骤2中，如果使用的是linux，需要手动启用binfmt_misc，有多种实现方式方式。包括“qemu-user-binfmt”，“qemu-user-static”，“binfmt”，设置可以利用docker，podman等运行容器实现该功能。
进一步地，所述步骤2中，在构建机器上启用QEMU和binfmt_misc。如果目标CPU平台不被支持，需手动重新编译QEMU。binfmt_misc有多种启用方式，在“/proc/sys/fs/binfmt_misc/”目标下验证是否启用了目标平台。
进一步地，所述步骤3中，在构建机器上安装buildah，编译安装，二进制安装即可。
进一步地，所述步骤3中，buildah的“--arch”选项传入目标平台信息进行构建。
进一步地，所述步骤3中，buildah构建中跨CPU平台的容器镜像，构建形式包括但不限于命令行，Dockerfile，构建机器操作系统包括但不限于windows，linux。
进一步地，所述步骤3中，构建不同CPU架构的容器镜像，只需要一个Dockerfile，构建时会根据命令行指定的CPU架构拉取特定的基础镜像等，无需在文件做变量替换等方式，简化了Dokcerfile编写和使用的复杂度。
进一步地，所述步骤3中，buildah创建manifest，合并对应的各个平台容器镜像。构建生成不同架构的容器镜像之后，建立manifest，这样可以将容器镜像合并之后整体上传到仓库，避免单个多次上传。推送时也会根据宿主机架构自动拉取对应容器镜像，这对于容器镜像的管理和后续使用提供了便利。
进一步地，所述步骤3中，buildah push镜像到镜像仓库，需要指定“--all”参数，以确定是否将已经构建完成的容器镜像全部上传至镜像仓库。
进一步地，buildah实现的功能，docker需要通过新版本的buildx插件才能实现这些功能，仅仅通过docker无法实现。而且buildah能合并构建的多个平台的容器镜像到镜像仓库。
如图3所示，本发明还一方面提供一种基于buildah构建跨平台容器镜像的系统，用于实现所述基于buildah构建跨平台容器镜像的方法的步骤，包括：CPU架构提供模块，用于启用QEMU模拟器，为构建跨平台容器镜像提供多种CPU架构；CPU架构转换模块，用于启用binfmt_misc，将目标平台的CPU架构转换为当前系统支持的CPU架构；容器镜像构建模块，用于启用buildah工具，传入目标平台的CPU架构信息，根据CPU架构信息拉取基础镜像，对多个目标平台的容器镜像进行构建。
系统还包括容器镜像合并模块，用于创建manifest，合并构建的不同CPU架构的容器镜像，将合并的结果上传至镜像仓库。
具体地，所述CPU架构提供模块为构建跨平台容器镜像提供多种CPU架构；所述CPU架构转换模块将跨平台的CPU架构转换为当前系统支持的CPU架构；所述容器镜像构建模块通过一个Dockerfile构建不同CPU架构的容器镜像；所述容器镜像合并模块合并构建的不同CPU架构的容器镜像，将合并的结果上传至镜像仓库。
如图4所示，本发明另一方面提供一种电子设备，所述设备包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现所述基于buildah构建跨平台容器镜像的方法。
术语或缩写的含义：
buildah Buildah是一个用于构建OCI(Open Container Initiative)镜像的开源工具。
QEMU是一个主机上的VMM(virtual machine monitor),通过动态二进制转换来模拟CPU，并提供一系列的硬件模型，使guest os认为自己和硬件直接打交道，其实是同QEMU模拟出来的硬件打交道，QEMU再将这些指令翻译给真正硬件进行操作。
binfmt_misc是Linux内核的一项功能，其使得内核可识别任意类型的可执行文件格式并传递至特定的用户空间应用程序，如模拟器和虚拟机。
docker是一种虚拟化技术的产品，属于一种“容器”。同时docker也是一种构建运行容器的工具。
cpu是中央处理器，是计算机的主要设备之一，功能主要是解释计算机指令以及处理计算机软件中的数据。
Manifest是容器镜像的资源清单。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案。

Claims (9)

1.基于buildah构建跨平台容器镜像的方法，其特征在于，包括，
启用QEMU模拟器，为构建跨平台容器镜像提供多种CPU架构；
启用binfmt_misc，将目标平台的CPU架构转换为当前系统支持的CPU架构；
启用buildah工具，传入目标平台的CPU架构信息，根据CPU架构信息拉取基础镜像，对多个目标平台的容器镜像进行构建。
2.根据权利要求1所述的基于buildah构建跨平台容器镜像的方法，其特征在于，将目标平台的CPU架构转换为当前系统支持的CPU架构，进一步包括：由QEMU模拟器将通过binfmt_misc在Linux内核中注册一个二进制转换处理程序，并在程序运行时动态翻译二进制文件，将目标平台的CPU架构转换为当前系统支持的CPU架构。
3.根据权利要求1所述的基于buildah构建跨平台容器镜像的方法，其特征在于，创建manifest，合并构建得到的多个目标平台的容器镜像，将合并的结果上传至镜像仓库。
4.根据权利要求1所述的基于buildah构建跨平台容器镜像的方法，其特征在于，构建跨平台容器镜像的形式包括但不限于命令行和Dockerfile。
5.根据权利要求1所述的基于buildah构建跨平台容器镜像的方法，其特征在于，构建跨平台容器镜像的操作系统包括但不限于windows和linux。
6.根据权利要求1所述的基于buildah构建跨平台容器镜像的方法，其特征在于，若使用linux操作系统构建跨平台容器镜像，则需要手动启用binfmt_misc。
7.基于buildah构建跨平台容器镜像的系统，用于实现权利要求1至6中任一项权利要求所述基于buildah构建跨平台容器镜像的方法的步骤，其特征在于，包括，
CPU架构提供模块，用于启用QEMU模拟器，为构建跨平台容器镜像提供多种CPU架构；
CPU架构转换模块，用于启用binfmt_misc，将目标平台的CPU架构转换为当前系统支持的CPU架构；
容器镜像构建模块，用于启用buildah工具，根据CPU架构信息拉取基础镜像，对多个目标平台的容器镜像进行构建。
8.根据权利要求7所述的基于buildah构建跨平台容器镜像的系统，其特征在于，包括：容器镜像合并模块，用于创建manifest，合并构建得到的多个目标平台的容器镜像，将合并的结果上传至镜像仓库。
9.一种电子设备，其特征在于，所述设备包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1至6中任一项所述基于buildah构建跨平台容器镜像的方法。
CN202210027222.7A 2022-01-11 2022-01-11 基于buildah构建跨平台容器镜像的方法、系统及电子设备 Pending CN114443221A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210027222.7A CN114443221A (zh) 2022-01-11 2022-01-11 基于buildah构建跨平台容器镜像的方法、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210027222.7A CN114443221A (zh) 2022-01-11 2022-01-11 基于buildah构建跨平台容器镜像的方法、系统及电子设备

Publications (1)

Publication Number Publication Date
CN114443221A true CN114443221A (zh) 2022-05-06

Family

ID=81368603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210027222.7A Pending CN114443221A (zh) 2022-01-11 2022-01-11 基于buildah构建跨平台容器镜像的方法、系统及电子设备

Country Status (1)

Country Link
CN (1) CN114443221A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116594647A (zh) * 2023-06-09 2023-08-15 中国水利水电科学研究院 一种基于Docker技术的软件适配方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116594647A (zh) * 2023-06-09 2023-08-15 中国水利水电科学研究院 一种基于Docker技术的软件适配方法

Similar Documents

Publication Publication Date Title
US10095489B1 (en) GUI-based application template for containerized application software development
US10409654B2 (en) Facilitating event-driven processing using unikernels
CN106648826A (zh) 用于热迁移虚拟机的方法和装置
US20220164216A1 (en) VIRTUALIZING HARDWARE COMPONENTS THAT IMPLEMENT Al APPLICATIONS
CN108255574A (zh) 一种虚拟机迁移方法及装置
CN111123737A (zh) 一种数字硬件虚拟仿真系统
CN107678831A (zh) 一种实现跨虚拟化平台间迁移的v2v方法
CN103064724A (zh) 虚拟机构建方法及装置
CN112667361A (zh) 基于系统虚拟机的管理方法、装置、电子设备及存储介质
CN111459606A (zh) 一种虚拟化下快速创建虚拟机的方法及服务器
CN113760462B (zh) 一种调度自动化系统验证环境的构建方法及装置
CN114461269A (zh) 软件开发发布管理方法、装置、设备及存储介质
Rechert et al. Introduction to an emulation-based preservation strategy for software-based artworks
CN114443221A (zh) 基于buildah构建跨平台容器镜像的方法、系统及电子设备
CN111930398A (zh) 应用程序更新方法、装置、系统、介质及设备
CN114461182A (zh) 流水线构建的方法、装置、电子设备及计算机可读存储介质
CN112764981A (zh) 一种协同测试系统及方法
CN112286633A (zh) 基于CloudStack平台的虚拟机创建方法、装置、设备及存储介质
CN110532064A (zh) 提供计算资源的方法、装置、设备和存储介质
CN113821228B (zh) 一种基于分层容器镜像构建ros或类ros项目的方法
US20230315038A1 (en) Method and system for providing engineering of an industrial device in a cloud computing environment
JPH08314760A (ja) プログラム開発支援装置
CN104182271A (zh) 一种基于申威处理器的虚拟化实现方法
Petazzoni et al. Buildroot: a nice, simple and efficient embedded Linux build system
CN108255570A (zh) 异构虚拟机监视器平台间的虚拟机迁移方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination