CN112764875A - 一种面向智能计算的轻量级入口容器微服务系统及方法 - Google Patents

一种面向智能计算的轻量级入口容器微服务系统及方法 Download PDF

Info

Publication number
CN112764875A
CN112764875A CN202011628463.4A CN202011628463A CN112764875A CN 112764875 A CN112764875 A CN 112764875A CN 202011628463 A CN202011628463 A CN 202011628463A CN 112764875 A CN112764875 A CN 112764875A
Authority
CN
China
Prior art keywords
container
intelligent
task
intelligent computing
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011628463.4A
Other languages
English (en)
Other versions
CN112764875B (zh
Inventor
邰阳
于佳耕
苗玉霞
侯朋朋
武延军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Software of CAS
Original Assignee
Institute of Software of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Software of CAS filed Critical Institute of Software of CAS
Priority to CN202011628463.4A priority Critical patent/CN112764875B/zh
Publication of CN112764875A publication Critical patent/CN112764875A/zh
Application granted granted Critical
Publication of CN112764875B publication Critical patent/CN112764875B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45504—Abstract machines for programme code execution, e.g. Java virtual machine [JVM], interpreters, emulators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45562—Creating, deleting, cloning virtual machine instances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45575—Starting, stopping, suspending or resuming virtual machine instances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45587—Isolation or security of virtual machine instances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45595—Network integration; Enabling network access in virtual machine instances

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Stored Programmes (AREA)

Abstract

本发明公开了一种面向智能计算的轻量级入口容器微服务系统及方法。本系统包括轻量级入口容器、任务分配容器以及智能计算业务容器，其中所述轻量级入口容器，用于接收用户输入的任务描述并将其发送给所述分配分配容器；所述任务分配容器包含任务解析器和任务分发器；任务解析器用于对任务描述进行解析，并将解析信息发送给任务分发器；任务分发器根据解析得到的智能计算业务所需的模型和输入数据的下载地址，下载对应智能计算业务使用到的模型、输入数据至智能计算业务容器部署节点；根据任务描述信息配置、创建和启动智能计算业务容器的yaml配置文件；然后任务分发器启动智能计算业务容器并发送智能计算请求，执行推理计算。

Description

一种面向智能计算的轻量级入口容器微服务系统及方法
技术领域
本发明属于计算机软件技术领域；具体基于docker容器技术，涉及一种面向智能计算的轻量级入口容器的微服务系统及方法。
背景技术
现阶段的智能计算系统通常集成了CPU和智能芯片的异构系统。在软件层，通常包括一套面向开发者的智能计算编程环境(包括编程框架和编程语言)。
在通用操作系统中开展智能计算任务，需要开发者搭建环境、自行安装大量深度学习框架软件包、维护软件的更新并解决相互之间的兼容问题。此外，通用操作系统中很多针对智能计算的系统增强功能都不是默认配置和安装的，也需要开发人员手动安装配置。这些系统级问题增加了开发者的负担，影响了智能应用的开发和部署效率。
目前主流的智能计算服务通常部署在通用Linux操作系统发行版上，一方面这些通用操作系统通常体量较大，增加了系统负担，运行速度变慢，另一方面，智能计算涉及大量的数据，通用操作系统存在较多的安全漏洞，增加了安全威胁，影响系统稳定性。
发明内容
针对现有技术中存在的技术问题，本发明的目的在于提供一种面向智能计算的轻量级入口容器微服务系统及方法。该系统可以通过提供轻量级入口容器、任务分配容器和后台智能计算服务容器的系统架构，既能实现面向用户的精简容器运行环境，提升系统的启动速度、降低安全风险，同时提供即开即用的智能计算服务，对其资源实现动态管理，并且完成相关测试。
本发明的技术方案为：
一种面向智能计算的轻量级入口容器微服务系统，其特征在于，包括轻量级入口容器、任务分配容器以及智能计算业务容器，其中
所述轻量级入口容器，用于接收用户输入的任务描述并将其发送给所述分配分配容器；
所述任务分配容器包含任务解析器和任务分发器；其中，任务解析器用于对任务描述进行解析，并将解析信息发送给任务分发器；任务分发器根据解析得到的智能计算业务所需的模型和输入数据的下载地址，下载对应智能计算业务使用到的模型、输入数据至智能计算业务容器部署节点；根据任务描述信息配置、创建和启动智能计算业务容器的yaml配置文件；然后任务分发器启动智能计算业务容器并发送智能计算请求，执行推理计算。
进一步的，所述智能计算业务容器基于docker容器技术，将智能计算框架封装在docker容器中；其中封装所述智能计算框架的docker容器中内置智能计算服务端，并提供智能计算所用的分类接口、预测接口，用于所述任务分配容器启动智能计算业务容器后，内置的智能计算服务端对智能计算请求进行分类、预测对应的RESTFul API执行智能计算任务。
进一步的，所述智能计算业务容器为采用x86和ARM64平台的CPU/GPU计算节点。
进一步的，基于Alpine Linux制作所述轻量级入口容器。
进一步的，所述yaml配置文件包括已封装智能计算业务的docker镜像名称、启动智能计算业务容器时应挂载智能计算业务需要的模型、输入数据和业务容器部署节点信息。
一种面向智能计算的轻量级入口容器微服务方法，其步骤包括：
1)轻量级入口容器接收用户输入的任务描述文件，包括：用户ID、业务ID、智能计算输入数据下载地址、智能计算模型的下载地址、智能计算架构类型、硬件架构类型、智能计算推理类型；
2)轻量级入口容器将该任务描述文件发送给任务分配容器；
3)任务分配容器对该任务描述文件进行解析，得到对应的任务描述信息；
4)容器编排器根据任务描述信息中的硬件架构类型，根据当前该硬件架构类型的硬件平台资源使用情况，确定智能计算业务容器部署节点；
5)任务分发器根据智能计算输入数据下载地址、智能计算模型的下载地址，将智能计算业务使用的模型和输入数据下载至智能计算业务容器部署节点；
6)容器编排器根据解析的任务描述信息，生成编排智能计算业务容器的yaml配置文件；
7)容器编排器根据该yaml配置文件在指定的智能计算业务容器部署节点拉取智能计算业务镜像，自动启动智能计算业务容器；其中该智能计算业务容器挂载智能计算业务需要的输入数据和模型；
8)任务分发器根据解析的智能计算推理类型和智能计算业务容器部署节点IP生成智能计算推理请求，发送给该智能计算业务容器；
9)该智能计算业务容器根据该智能计算推理请求对应的智能计算推理类型的推理请求后，调用对应推理类型的脚本、加载所需模型和输入数据，进行推理计算。
本发明的面向智能计算的轻量级入口容器微服务系统，其技术方案如图1所示，主要包括轻量级入口容器、任务分配容器以及微服务架构的智能计算业务容器这三部分的技术开发。轻量级入口容器为系统的客户端，用户在容器中编写任务描述，发送任务请求。任务分配容器包含任务解析器、容器编排器和任务分发器，根据入口容器发送的任务描述自动解析、调度业务容器和分发智能计算任务。微服务架构的智能计算业务容器基于docker容器技术，将复杂的智能计算框架(TensorFlow、PyTorch等)针对不同的硬件架构封装在docker容器中。为方便用户快速运行智能计算业务，本发明实现了适用不同智能计算框架的服务端，封装所述智能计算框架的docker容器中内置智能计算服务端，提供智能计算所用的分类接口、预测接口，该接口基于RESTFul网络应用设计架构开发，以实现微服务。当所述任务分配容器启动智能计算业务容器后，内置的智能计算服务端一旦接收到符合RESTFul API规范的智能计算分类或预测请求，服务端将执行对应的智能计算任务。
轻量级的入口容器基于Alpine Linux制作，Alpine Linux是一款基于musl c库和BusyBox的Linux发行版，其容器镜像大小仅为5.53MB，但却以一个单一可执行文件提供了高达300多种Linux基础命令。该入口容器具备curl库用于发送智能计算任务描述，容器大小约6MB，在SSD硬盘上的平均启动时间不超过1秒。
任务分配容器可视为服务器端，包含了任务解析器和任务分发器。接受到入口容器发送的任务描述请求后，先通过解析器解析。任务分发器基于k8s，根据集群中资源状况，指定任务节点。任务分发器再根据解析到的智能计算业务所需的模型和输入数据的下载地址，将其下载至容器部署节点。然后根据解析获取的任务描述，配置创建和启动智能计算业务容器的k8s yaml配置文件，包括启动智能计算业务容器时应挂载此次业务需要的模型、输入数据，微服务接口相关信息等。分发器再启动业务容器，并发送智能计算请求，开始执行推理计算。
微服务架构的智能计算业务容器如图2所示，在实现上，系统主要采用x86和ARM64平台的CPU/GPU计算节点来提供推理任务的基础算力，通过Docker容器技术封装推理任务，针对不同的深度学习框架(Tensorflow、Caffe、PyTorch、MXNet等)分别封装，容器中内置Server来接受外部HTTP请求。
具体步骤如下：
1)用户登录入口容器，编写任务描述文件，包括：用户ID、业务ID、智能计算输入数据下载地址、智能计算模型的下载地址、智能计算架构类型、硬件架构类型、智能计算推理类型等。模型下载地址只是一个url的地址(ip+字符串)，任务分配容器并不能立刻解析出它是哪种智能计算架构；容器编排器先根据硬件架构类型确定集群中可用的硬件平台，通过模型下载地址将模型下载到硬件平台的指定位置。智能计算架构类型(如Tensorflow)和硬件架构类型(如GPU)是为了让任务分配容器确定使用哪个硬件平台以及哪个微服务智能计算业务容器。本实例是将封装的适用于GPU平台的Tensorflow架构的智能计算镜像拉取到GPU硬件平台，并启动容器。
2)用户通过入口容器的curl模块，以上述任务描述文件的形式发送给任务分配容器。
3)任务分配容器接收到任务描述文件后进行解析，得到对应的任务描述信息。
4)容器编排器根据硬件架构类型，根据当前该类型硬件平台资源使用情况，确定智能计算业务容器部署节点，获得该节点IP。
5)任务分发器根据智能计算输入数据下载地址、智能计算模型的下载地址，将智能计算业务使用的模型和输入数据下载至智能计算业务容器部署节点的默认位置。
6)容器编排器通过预设定的k8s的yaml配置文件模板，根据解析的任务描述信息，调用yaml文件自动化生成程序，生成编排智能计算业务容器的yaml文件，包含已封装智能计算业务的docker镜像名称、挂载智能计算业务需要的输入数据和模型、业务容器部署节点信息等。
7)容器编排器基于k8s编排管理工具，根据上述生成的yaml文件在指定的业务容器部署节点拉取智能计算业务镜像，自动启动挂载智能计算业务需要的输入数据和模型的智能计算业务容器，并通过内置服务端提供分类、预测等RESTFul接口。
8)任务分发器根据解析的智能计算推理类型(分类、预测等)和业务容器部署节点IP生成智能计算推理请求，发送给智能计算业务容器。
9)该智能计算业务容器接收到指定类型的推理请求后，调用对应推理类型的脚本，加载业务容器挂载的模型，导入挂载的输入数据，开始对输入数据逐一进行推理计算，并保存结果。
与现有技术相比，本发明的积极效果为：
(1)传统的智能计算系统往往部署在通用Linux操作系统发行版上，系统体量较大，运行速度变慢，本发明提供了轻量级的入口容器，用户启动容器时间小于1秒，容器大小6MB左右，同时业务容器采用微服务架构，一旦启动业务容器，将大幅降低用户每次启动智能计算框架的时间，即开即用。大大提高了用户进入智能计算系统的操作感受。
(2)传统开展智能计算任务，开发者需要搭建环境、自行安装大量深度学习框架软件包、维护软件的更新并解决相互之间的兼容问题，此发明基于docker容器技术，常用的深度学习框架都封装对应的容器中，明显提高了开发者的部署效率。
(3)传统的智能计算往往涉及大量的隐私数据，保障后台服务器的安全和稳定尤为重要，此发明通过轻量级的入口容器将用户与后台服务器隔离，用户只能进行本次业务相关的操作，后台服务端以黑盒的形式呈现给用户。
(4)传统的容器部署需要人工指令操作完成，而且k8s的配置文件并不是所有用户都熟悉的，本发明根据用户的智能计算任务描述文件自动化的创建微服务架构的智能计算业务容器的k8s配置文件，并完成容器部署，进一步提高了用户部署容器的效率。
附图说明
图1为面向智能计算的轻量级入口容器微服务系统架构。
图2为智能计算微服务容器架构图。
图3为面向智能计算的轻量级入口容器微服务系统的业务流程图。
具体实施方式
为了使本发明的技术方案更加清楚，下面将通过实例和附图对本发明作进一步的详细描述，但不以任何方式限制发明的范围。
设定如下测试场景：服务器1台(单CPU和CPU搭载GPU)；客户端1台，基于TensorFlow的图像分类模型AlexNet和100张加标签的图像。远程仓库中提前准备了封装TensorFlow CPU版本和TensorFlow GPU版本的docker镜像，镜像中内置提供外部推理计算HTTP请求的Server模块，实例将通过此发明完成图像分类推理计算。
实施步骤如下：
如图2，详细描述了面向智能计算的轻量级入口容器微服务系统的业务流程。
1)用户在客服端先完成身份认证远程登录，并启动进入轻量级入口容器。
2)用户编写任务描述Json文件，包含用户ID、服务ID、图像分类推理计算需要的AlexNet模型以及100张图像的下载地址、硬件平台GPU(可选CPU)、智能计算框架TensorFlow等。
3)用户通过curl模块将2中准备好的任务描述Json文件发送给任务分配容器。
4)任务分配容器将通过Json解析器分别获取1中编写的任务描述相关信息。
5)因硬件平台选项为GPU，容器编排器根据集群中GPU节点资源占用情况，确定本次业务容器部署节点IP等相关信息。
6)任务分发器根据2中获得的模型和输入数据下载地址，将AlexNet模型和100张图像下载至3中确定的GPU节点上默认位置。
7)容器编排器根据2和3中获得的信息，自动化生成启动业务容器的k8s配置文件，主要包括挂载AlexNet模型和图像在GPU节点的默认位置、业务容器在远程仓库中的镜像名称(tensorflow-gpu)、自动启动业务容器微服务Server、微服务对外端口号等信息。
8)容器编排器根据5中生成的k8s配置文件，在GPU节点中启动业务容器，并提供支持TensorFlow GPU架构的推理计算接口。
9)任务分发器将自动向6中启动的业务微服务容器发送HTTP请求，包含5中确定的微服务对外端口号和推理计算对应接口。
10)业务微服务容器接收到请求后将加载推理计算所需模型和输入数据，对100张图像逐一进行图像分类，并将推理结果保存，上传至用户的私有云空间。
11)用户在轻量级入口容器中可访问并查看本次推理计算结果以及日志文件等。
以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的原理和范围，本发明的保护范围应以权利要求书所述为准。

Claims (10)

1.一种面向智能计算的轻量级入口容器微服务系统，其特征在于，包括轻量级入口容器、任务分配容器以及智能计算业务容器，其中
所述轻量级入口容器，用于接收用户输入的任务描述并将其发送给所述分配分配容器；所述任务分配容器包含任务解析器和任务分发器；其中，任务解析器用于对任务描述进行解析，并将解析信息发送给任务分发器；任务分发器根据解析得到的智能计算业务所需的模型和输入数据的下载地址，下载对应智能计算业务使用到的模型、输入数据至智能计算业务容器部署节点；根据任务描述信息配置、创建和启动智能计算业务容器的yaml配置文件；然后任务分发器启动智能计算业务容器并发送智能计算请求，执行推理计算。
2.如权利要求1所述的系统，其特征在于，所述智能计算业务容器基于docker容器技术，将智能计算框架封装在docker容器中；其中封装所述智能计算框架的docker容器中内置智能计算服务端，并提供智能计算所用的分类接口、预测接口，用于所述任务分配容器启动智能计算业务容器后，内置的智能计算服务端对智能计算请求进行分类、预测对应的RESTFulAPI执行智能计算任务。
3.如权利要求1或2所述的系统，其特征在于，所述智能计算业务容器为采用x86和ARM64平台的CPU/GPU计算节点。
4.如权利要求1所述的系统，其特征在于，基于Alpine Linux制作所述轻量级入口容器。
5.如权利要求1所述的系统，其特征在于，所述yaml配置文件包括已封装智能计算业务的docker镜像名称、启动智能计算业务容器时应挂载智能计算业务需要的模型、输入数据和业务容器部署节点信息。
6.一种面向智能计算的轻量级入口容器微服务方法，其步骤包括：
1)轻量级入口容器接收用户输入的任务描述文件，包括：用户ID、业务ID、智能计算输入数据下载地址、智能计算模型的下载地址、智能计算架构类型、硬件架构类型、智能计算推理类型；
2)轻量级入口容器将该任务描述文件发送给任务分配容器；
3)任务分配容器对该任务描述文件进行解析，得到对应的任务描述信息；
4)容器编排器根据任务描述信息中的硬件架构类型，根据当前该硬件架构类型的硬件平台资源使用情况，确定智能计算业务容器部署节点；
5)任务分发器根据智能计算输入数据下载地址、智能计算模型的下载地址，将智能计算业务使用的模型和输入数据下载至智能计算业务容器部署节点；
6)容器编排器根据解析的任务描述信息，生成编排智能计算业务容器的yaml配置文件；
7)容器编排器根据该yaml配置文件在指定的智能计算业务容器部署节点拉取智能计算业务镜像，自动启动智能计算业务容器；其中该智能计算业务容器挂载智能计算业务需要的输入数据和模型；
8)任务分发器根据解析的智能计算推理类型和智能计算业务容器部署节点IP生成智能计算推理请求，发送给该智能计算业务容器；
9)该智能计算业务容器根据该智能计算推理请求对应的智能计算推理类型的推理请求后，调用对应推理类型的脚本、加载所需模型和输入数据，进行推理计算。
7.如权利要求6所述的方法，其特征在于，所述智能计算业务容器基于docker容器技术，将智能计算框架封装在docker容器中；其中封装所述智能计算框架的docker容器中内置智能计算服务端，并提供智能计算所用的分类接口、预测接口，用于所述任务分配容器启动智能计算业务容器后，内置的智能计算服务端对智能计算请求进行分类、预测对应的RESTFulAPI执行智能计算任务。
8.如权利要求6或7所述的方法，其特征在于，所述智能计算业务容器为采用x86和ARM64平台的CPU/GPU计算节点。
9.如权利要求6所述的方法，其特征在于，基于Alpine Linux制作所述轻量级入口容器。
10.如权利要求6所述的方法，其特征在于，所述yaml配置文件包括已封装智能计算业务的docker镜像名称、启动智能计算业务容器时应挂载智能计算业务需要的模型、输入数据和业务容器部署节点信息。
CN202011628463.4A 2020-12-31 2020-12-31 一种面向智能计算的轻量级入口容器微服务系统及方法 Active CN112764875B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011628463.4A CN112764875B (zh) 2020-12-31 2020-12-31 一种面向智能计算的轻量级入口容器微服务系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011628463.4A CN112764875B (zh) 2020-12-31 2020-12-31 一种面向智能计算的轻量级入口容器微服务系统及方法

Publications (2)

Publication Number Publication Date
CN112764875A true CN112764875A (zh) 2021-05-07
CN112764875B CN112764875B (zh) 2023-02-28

Family

ID=75699319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011628463.4A Active CN112764875B (zh) 2020-12-31 2020-12-31 一种面向智能计算的轻量级入口容器微服务系统及方法

Country Status (1)

Country Link
CN (1) CN112764875B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113467931A (zh) * 2021-06-04 2021-10-01 中国联合网络通信集团有限公司 算力任务的处理方法、装置及系统
CN114489926A (zh) * 2021-12-09 2022-05-13 西安邮电大学 一种基于截止期限制的云中微服务负载均衡方法
CN114780168A (zh) * 2022-03-30 2022-07-22 全球能源互联网研究院有限公司南京分公司 智能终端容器安全策略动态变更的方法、装置及电子设备
TWI810560B (zh) * 2021-05-10 2023-08-01 中國信託商業銀行股份有限公司 基於雲端微服務的人工智慧模型服務方法及伺服器

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100281166A1 (en) * 2007-11-09 2010-11-04 Manjrasoft Pty Ltd Software Platform and System for Grid Computing
CN108052333A (zh) * 2017-12-11 2018-05-18 北京紫优能源科技有限公司 一种电力调度集控系统标准化自动化部署方法及架构
CN109376017A (zh) * 2019-01-07 2019-02-22 人和未来生物科技（长沙）有限公司 基于容器的云计算平台任务处理方法、系统及其应用方法
CN109934361A (zh) * 2019-02-25 2019-06-25 江苏电力信息技术有限公司 一种基于容器和大数据的自动化运维平台模型
CN110109686A (zh) * 2019-04-25 2019-08-09 中电科嘉兴新型智慧城市科技发展有限公司 一种基于容器管理引擎的应用运维方法和系统
CN110149396A (zh) * 2019-05-20 2019-08-20 华南理工大学 一种基于微服务架构的物联网平台构建方法
US20200073655A1 (en) * 2018-09-05 2020-03-05 Nanum Technologies Co., Ltd. Non-disruptive software update system based on container cluster

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100281166A1 (en) * 2007-11-09 2010-11-04 Manjrasoft Pty Ltd Software Platform and System for Grid Computing
CN108052333A (zh) * 2017-12-11 2018-05-18 北京紫优能源科技有限公司 一种电力调度集控系统标准化自动化部署方法及架构
US20200073655A1 (en) * 2018-09-05 2020-03-05 Nanum Technologies Co., Ltd. Non-disruptive software update system based on container cluster
CN109376017A (zh) * 2019-01-07 2019-02-22 人和未来生物科技（长沙）有限公司 基于容器的云计算平台任务处理方法、系统及其应用方法
CN109934361A (zh) * 2019-02-25 2019-06-25 江苏电力信息技术有限公司 一种基于容器和大数据的自动化运维平台模型
CN110109686A (zh) * 2019-04-25 2019-08-09 中电科嘉兴新型智慧城市科技发展有限公司 一种基于容器管理引擎的应用运维方法和系统
CN110149396A (zh) * 2019-05-20 2019-08-20 华南理工大学 一种基于微服务架构的物联网平台构建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡星 等: "POP：一个基于微服务架构的在线编程系统", 《计算机科学》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI810560B (zh) * 2021-05-10 2023-08-01 中國信託商業銀行股份有限公司 基於雲端微服務的人工智慧模型服務方法及伺服器
CN113467931A (zh) * 2021-06-04 2021-10-01 中国联合网络通信集团有限公司 算力任务的处理方法、装置及系统
CN113467931B (zh) * 2021-06-04 2023-12-22 中国联合网络通信集团有限公司 算力任务的处理方法、装置及系统
CN114489926A (zh) * 2021-12-09 2022-05-13 西安邮电大学 一种基于截止期限制的云中微服务负载均衡方法
CN114489926B (zh) * 2021-12-09 2024-06-07 西安邮电大学 一种基于截止期限制的云中微服务负载均衡方法
CN114780168A (zh) * 2022-03-30 2022-07-22 全球能源互联网研究院有限公司南京分公司 智能终端容器安全策略动态变更的方法、装置及电子设备
CN114780168B (zh) * 2022-03-30 2023-04-28 全球能源互联网研究院有限公司南京分公司 智能终端容器安全策略动态变更的方法、装置及电子设备

Also Published As

Publication number Publication date
CN112764875B (zh) 2023-02-28

Similar Documents

Publication Publication Date Title
CN112764875B (zh) 一种面向智能计算的轻量级入口容器微服务系统及方法
McChesney et al. Defog: fog computing benchmarks
US11593252B2 (en) Agentless distributed monitoring of microservices through a virtual switch
CN107766126B (zh) 容器镜像的构建方法、系统、装置及存储介质
CN109032706B (zh) 智能合约执行方法、装置、设备和存储介质
CN112329945A (zh) 一种模型部署及推理的方法和装置
CN110442041B (zh) 一种基于异构云计算框架的仿真平台构建方法及仿真系统
CN112306586B (zh) 数据处理方法、装置、设备及计算机存储介质
US10191735B2 (en) Language-independent program composition using containers
CN110083455B (zh) 图计算处理方法、装置、介质及电子设备
US11429434B2 (en) Elastic execution of machine learning workloads using application based profiling
US11960578B2 (en) Correspondence of external operations to containers and mutation events
US20120066674A1 (en) Techniques for conditional deployment of application artifacts
CN109144661A (zh) 一种基于docker的深度学习管理方法
CN111427702A (zh) 一种人工智能ai系统及数据处理方法
US11481688B2 (en) Systems and methods for preparing cross-platform machine learning applications
Naranjo et al. A serverless gateway for event‐driven machine learning inference in multiple clouds
Jansen et al. The spec-rg reference architecture for the edge continuum
Banerjee et al. Programming paradigm and the internet of things
CN111506393B (zh) 一种基于arm的虚拟化装置及其使用方法
CN117519972A (zh) Gpu资源管理方法及装置
CN101969442B (zh) 基于进程运行环境感知与迁移的网络模拟框架实现方法
CN116700745A (zh) 基于容器云平台的应用部署方法、装置、电子设备和介质
US20170262405A1 (en) Remote direct memory access-based on static analysis of asynchronous blocks
US20200065077A1 (en) Identifying software and hardware bottlenecks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant