CN112966833B - 基于Kubernetes集群的机器学习模型平台 - Google Patents

基于Kubernetes集群的机器学习模型平台 Download PDF

Info

Publication number
CN112966833B
CN112966833B CN202110374194.1A CN202110374194A CN112966833B CN 112966833 B CN112966833 B CN 112966833B CN 202110374194 A CN202110374194 A CN 202110374194A CN 112966833 B CN112966833 B CN 112966833B
Authority
CN
China
Prior art keywords
model
platform
service
module
authentication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110374194.1A
Other languages
English (en)
Other versions
CN112966833A (zh
Inventor
王一蕾
叶飞扬
傅仰耿
黄章衡
郑松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202110374194.1A priority Critical patent/CN112966833B/zh
Publication of CN112966833A publication Critical patent/CN112966833A/zh
Application granted granted Critical
Publication of CN112966833B publication Critical patent/CN112966833B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/44—Program or device authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/61—Installation
    • G06F8/63—Image based installation; Cloning; Build to order

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Stored Programmes (AREA)

Abstract

本发明涉及一种基于Kubernetes集群的机器学习模型平台，包括：网关模块，用于系统对外服务入口的统一代理；认证服务及API模块，用于系统统一的认证服务；以及模型服务模块，用于模型服务的具体容器部署。所述机器学习模型平台按如下步骤实施：发布者将机器学习模型包装为docker镜像，并集成相应的GRPC接口以及Protobuf说明文件；通过命令将该镜像发布到平台仓库中；平台根据发布者提供的部署表单将模型实例部署到平台中，并自动进行网关端口转发以及负载均衡；使用者通过URL以及权限认证token通过安全认证进行远程过程调用模型接口。该管理平台有利于简化机器学习模型的部署过程，提高模型上线的效率。

Description

基于Kubernetes集群的机器学习模型平台
技术领域
本发明涉及一种基于Kubernetes集群的机器学习模型平台。
背景技术
随着硬件设备的发展以及数据的爆炸式增长，单一超级计算机的服务架构已经过时。随着docker以及kubernetes的出现，serverless架构的应用已经越来越成熟。大量的厂商也开始提供了kubernetes云服务。
如何简化机器学习模型部署的过程，让开发者可以专注于模型的研究和无需关心模型的部署以及生产环境下的投入使用等因素，是一个亟待解决的问题。
发明内容
本发明的目的在于提供一种基于Kubernetes集群的机器学习模型平台，该平台有利于简化机器学习模型的部署过程，提高模型上线的效率。
为实现上述目的，本发明采用的技术方案是：一种基于Kubernetes集群的机器学习模型平台，包括：
网关模块，用于系统对外服务入口的统一代理；
认证服务及API模块，用于系统统一的认证服务；以及
模型服务模块，用于模型服务的具体容器部署。
进一步地，所述网关模块包括Envoy代理模块和服务发现模块，Envoy网关提供外网统一入口，通过对接Envoy服务发现接口，以实现自动注册内网服务簇的功能，同时通过反向代理和http中间管道过滤，为后续的认证模块、模型模块提供统一管理。
进一步地，所述认证服务及API模块包括模型服务认证模块、Docker仓库认证模块和自动化部署模块，认证服务模块为Grpc模型、Docker私有仓库提供统一的身份认证以及授权管理服务，自动化部署模块集成创建kubernetes部署服务的过程，通过RestfulAPI为外部提供自动化部署接口。
进一步地，所述模型服务模块包括Docker镜像仓库模块和Grpc模型服务模块，Docker镜像仓库模块采用Docker私有仓库镜像部署于kubernetes集群中；Grpc模型服务模块提供统一接口规范，由开发者根据规范编写机器学习模型镜像并通过Docker发布于平台的Docker私有仓库中。
进一步地，所述机器学习模型平台按如下步骤实施：
步骤S1：发布者将机器学习模型包装为docker镜像，并集成相应的GRPC接口以及Protobuf说明文件；通过命令将该镜像发布到平台仓库中；
步骤S2：平台根据发布者提供的部署表单将模型实例部署到平台中，并自动进行网关端口转发以及负载均衡；
步骤S3：使用者通过URL以及权限认证token通过安全认证进行远程过程调用模型接口。
进一步地，所述步骤S1具体包括以下步骤：
步骤S11：开发者通过docker容器完成模型开发和封装；
步骤S12：开发者按照规范封装后GRPC接口并准备好Protobuf文件；
步骤S13：开发者通过docker保存容器的镜像版本，并打上相应的标签；
步骤S14：将该镜像通过publish远程发送给平台私有仓库。
进一步地，所述步骤S2具体包括以下步骤：
步骤S21：开发者通过平台提供的接口完成表单的填写，并将表单发送给平台后端；
步骤S22：平台后端根据表单内容从私有仓库中查找相应的镜像，并为该镜像生成实例容器部署于平台中；
步骤S23：平台通过envoy网关发现服务动态，为该容器提供相应的URL供外部调用。
进一步地，所述步骤S3具体包括以下步骤：
步骤S31：使用者通过查阅平台的模型服务节点URL对模型服务进行远程调用；
步骤S32：模型调用过程中，通过网关将初始的请求转发到认证服务器，完成认证后再进一步转发给指定模型服务；
步骤S33：模型完成计算后返回相应的结果。
与现有技术相比，本发明具有以下有益效果：本发明提供了基于Kubernetes集群的机器学习模型平台，简化了模型部署的过程，提高了开发者的效率。此外，本发明能够自动转发模型接口并为模型服务提供安全认证，开发者无需关心安全问题。
附图说明
图1是本发明实施例的模型部署流程图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本实施例提供了一种基于Kubernetes集群的机器学习模型平台，包括网关模块P1、认证服务及API模块P2和模型服务模块P3。
网关模块P1用于系统对外服务入口的统一代理，其包括Envoy代理模块和服务发现模块，Envoy网关提供外网统一入口，通过对接Envoy服务发现接口，以实现自动注册内网服务簇的功能，同时通过反向代理和http中间管道过滤，为后续的认证模块、模型模块提供统一管理。
认证服务及API模块P2用于系统统一的认证服务，其包括模型服务认证模块、Docker仓库认证模块和自动化部署模块，认证服务模块为Grpc模型、Docker私有仓库提供统一的身份认证以及授权管理服务，自动化部署模块集成创建kubernetes部署服务的过程，通过RestfulAPI为外部提供自动化部署接口。
模型服务模块P3用于模型服务的具体容器部署，其包括Docker镜像仓库模块和Grpc模型服务模块，Docker镜像仓库模块采用官方提供的Docker私有仓库镜像，并部署于kubernetes集群中；Grpc模型服务模块提供统一接口规范，由开发者根据规范编写机器学习模型镜像并通过Docker发布于平台的Docker私有仓库中。
如图1所示，所述机器学习模型平台按如下步骤实施：
步骤S1：发布者将机器学习模型包装为docker镜像，并集成相应的GRPC接口以及Protobuf说明文件；通过命令将该镜像发布到平台仓库中。
在本实施例中，所述步骤S1具体包括以下步骤：
步骤S11：开发者通过docker容器完成模型开发和封装；
步骤S12：开发者按照规范封装后GRPC接口并准备好Protobuf文件；
步骤S13：开发者通过docker保存容器的镜像版本，并打上相应的标签；
步骤S14：将该镜像通过publish远程发送给平台私有仓库。
步骤S2：平台根据发布者提供的部署表单将模型实例部署到平台中，并自动进行网关端口转发以及负载均衡。
在本实施例中，所述步骤S2具体包括以下步骤：
步骤S21：开发者通过平台提供的接口完成表单的填写，并将表单发送给平台后端；
步骤S22：平台后端根据表单内容从私有仓库中查找相应的镜像，并为该镜像生成实例容器部署于平台中；
步骤S23：平台通过envoy网关发现服务动态，为该容器提供相应的URL供外部调用。
步骤S3：使用者通过URL以及权限认证token通过安全认证进行远程过程调用模型接口。
在本实施例中，所述步骤S3具体包括以下步骤：
步骤S31：使用者通过查阅平台的模型服务节点URL对模型服务进行远程调用；
步骤S32：模型调用过程中，通过网关将初始的请求转发到认证服务器，完成认证后再进一步转发给指定模型服务；
步骤S33：模型完成计算后返回相应的结果。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (4)

1.一种基于Kubernetes集群的机器学习模型平台，其特征在于，包括：
网关模块，用于系统对外服务入口的统一代理；
认证服务及API模块，用于系统统一的认证服务；以及
模型服务模块，用于模型服务的具体容器部署；
所述机器学习模型平台按如下步骤实施：
步骤S1：发布者将机器学习模型包装为docker镜像，并集成相应的GRPC接口以及Protobuf说明文件；通过命令将该镜像发布到平台仓库中；
步骤S2：平台根据发布者提供的部署表单将模型实例部署到平台中，并自动进行网关端口转发以及负载均衡；
步骤S3：使用者通过URL以及权限认证token通过安全认证进行远程过程调用模型接口；
所述步骤S1具体包括以下步骤：
步骤S11：开发者通过docker容器完成模型开发和封装；
步骤S12：开发者按照规范封装后GRPC接口并准备好Protobuf文件；
步骤S13：开发者通过docker保存容器的镜像版本，并打上相应的标签；
步骤S14：将该镜像通过publish远程发送给平台私有仓库；
所述步骤S2具体包括以下步骤：
步骤S21：开发者通过平台提供的接口完成表单的填写，并将表单发送给平台后端；
步骤S22：平台后端根据表单内容从私有仓库中查找相应的镜像，并为该镜像生成实例容器部署于平台中；
步骤S23：平台通过envoy网关发现服务动态，为该容器提供相应的URL供外部调用；
所述步骤S3具体包括以下步骤：
步骤S31：使用者通过查阅平台的模型服务节点URL对模型服务进行远程调用；
步骤S32：模型调用过程中，通过网关将初始的请求转发到认证服务器，完成认证后再进一步转发给指定模型服务；
步骤S33：模型完成计算后返回相应的结果。
2.根据权利要求1所述的基于Kubernetes集群的机器学习模型平台，其特征在于，所述网关模块包括Envoy代理模块和服务发现模块，Envoy网关提供外网统一入口，通过对接Envoy服务发现接口，以实现自动注册内网服务簇的功能，同时通过反向代理和http中间管道过滤，为后续的认证模块、模型模块提供统一管理。
3.根据权利要求1所述的基于Kubernetes集群的机器学习模型平台，其特征在于，所述认证服务及API模块包括模型服务认证模块、Docker仓库认证模块和自动化部署模块，认证服务模块为Grpc模型、Docker私有仓库提供统一的身份认证以及授权管理服务，自动化部署模块集成创建kubernetes部署服务的过程，通过RestfulAPI为外部提供自动化部署接口。
4.根据权利要求1所述的基于Kubernetes集群的机器学习模型平台，其特征在于，所述模型服务模块包括Docker镜像仓库模块和Grpc模型服务模块，Docker镜像仓库模块采用Docker私有仓库镜像部署于kubernetes集群中；Grpc模型服务模块提供统一接口规范，由开发者根据规范编写机器学习模型镜像并通过Docker发布于平台的Docker私有仓库中。
CN202110374194.1A 2021-04-07 2021-04-07 基于Kubernetes集群的机器学习模型平台 Active CN112966833B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110374194.1A CN112966833B (zh) 2021-04-07 2021-04-07 基于Kubernetes集群的机器学习模型平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110374194.1A CN112966833B (zh) 2021-04-07 2021-04-07 基于Kubernetes集群的机器学习模型平台

Publications (2)

Publication Number Publication Date
CN112966833A CN112966833A (zh) 2021-06-15
CN112966833B true CN112966833B (zh) 2023-01-31

Family

ID=76281447

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110374194.1A Active CN112966833B (zh) 2021-04-07 2021-04-07 基于Kubernetes集群的机器学习模型平台

Country Status (1)

Country Link
CN (1) CN112966833B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113805958B (zh) * 2021-08-18 2023-12-22 济南浪潮数据技术有限公司 一种基于osb api规范的第三方服务接入方法和系统
CN113572619B (zh) * 2021-09-22 2021-12-07 银河麒麟软件(长沙)有限公司 一种基于notary的容器云镜像可信实现方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961151A (zh) * 2017-12-21 2019-07-02 同方威视科技江苏有限公司 用于机器学习的计算服务的系统及用于机器学习的方法
CN111399853A (zh) * 2020-02-20 2020-07-10 四川新网银行股份有限公司 机器学习模型与自定义算子的模板化部署方法
CN111930388A (zh) * 2020-07-13 2020-11-13 银盛支付服务股份有限公司 一种基于k8s、docker容器的持续化集成方法和系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10985997B2 (en) * 2016-05-06 2021-04-20 Enterpriseweb Llc Systems and methods for domain-driven design and execution of metamodels
CN111625316A (zh) * 2020-05-15 2020-09-04 苏州浪潮智能科技有限公司 一种环境部署方法、装置及电子设备和存储介质
CN112398914B (zh) * 2020-10-28 2023-03-24 武汉大势智慧科技有限公司 基于Kubernetes容器集群的云渲染平台

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961151A (zh) * 2017-12-21 2019-07-02 同方威视科技江苏有限公司 用于机器学习的计算服务的系统及用于机器学习的方法
CN111399853A (zh) * 2020-02-20 2020-07-10 四川新网银行股份有限公司 机器学习模型与自定义算子的模板化部署方法
CN111930388A (zh) * 2020-07-13 2020-11-13 银盛支付服务股份有限公司 一种基于k8s、docker容器的持续化集成方法和系统

Also Published As

Publication number Publication date
CN112966833A (zh) 2021-06-15

Similar Documents

Publication Publication Date Title
CN109889551B (zh) 一种智能硬件接入的物联网云平台的方法
EP2947569B1 (en) Hybrid applications operating between on-premise and cloud platforms
US10693708B2 (en) Defining configurable characteristics of a product and associating configuration with enterprise resources
EP3364631B1 (en) Dynamic orchestration of microservices
Schel et al. Manufacturing service bus: an implementation
US9672140B1 (en) Processing special requests at dedicated application containers
CN112966833B (zh) 基于Kubernetes集群的机器学习模型平台
CN111290865A (zh) 一种服务调用方法、装置、电子设备和存储介质
CN109491758A (zh) docker镜像分发方法、系统、数据网关及计算机可读存储介质
CN108073798B (zh) 执行系统运行的框架
CN111371679A (zh) 一种基于kubernetes与Kong实现API网关的方法
CN112149079A (zh) 基于微服务架构的规划评审管理平台及用户访问授权方法
CN114567650B (zh) 一种数据处理方法及物联网平台系统
CN114675945A (zh) 一种服务调用方法、装置、计算机设备及存储介质
CN110049001A (zh) 一种实现WebService服务的方法、装置、存储介质和服务器
CN109218091A (zh) 一种用微服务方式部署云管理平台的方法
CN112202744A (zh) 一种多系统数据通信方法和装置
CN110661780A (zh) 一种基于saas应用的无线城市数据共享方法与系统
CN103391294A (zh) 一种基于服务描述的远程方法调用
WO2023125773A1 (zh) 大规模微服务集群场景下的全局异常处理方法和平台
WO2021093671A1 (zh) 任务处理方法、系统、装置、设备及计算机可读存储介质
FR2841999A1 (fr) Systeme de mise en reseau oriente objet d'equipements aeronautiques embarques
CN114416314B (zh) 一种基于api网关的服务编排方法
CN112272202A (zh) 一种管理软件服务端与系统内部组件的通信方法及系统
CN114500646B (zh) 一种去中心化的esb云平台系统及其服务调用方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant