CN114881233A - 一种基于容器的分布式模型推理服务方法 - Google Patents

Abstract

本发明属于机器学习部署技术领域，公开了一种基于容器的分布式模型推理服务方法，该方法只需接收需要分布式部署的模型；将该模型文件与部署框架结合，打包成可发布的容器镜像；容器底层运用名称空间、控制组和切根技术将所述模型的部署环境按照资源、文件、设备、状态和配置实现隔离；指定副本数和模型的配置文件，将所述分布式模型按照在线服务、批量服务或准实时服务方式实现分布式部署。本发明可轻松支持分布式部署，用户无需手动维护容器的生命周期，只需要指定容器的副本数和模型的配置文件即可，大幅降低了分布式模型的部署门槛，最大化节约了开发人员在部署环节耗费的时间。

Description

一种基于容器的分布式模型推理服务方法

技术领域

本发明属于机器学习部署技术领域，尤其涉及一种基于容器的分布式模型推理服务方法。

背景技术

当今社会的科技高速发展，伴随着机器学习及建模技术的快速发展和进步，分布式模型在多个技术领域都有应用，比如智慧医疗、智能推荐、无人驾驶等。分布式模型需要上线成为服务才能算真正成为生产力，成为最终形态。

分布式模型服务的形态包括在线服务、批量服务和准实时服务。在线服务即提供远程调用服务，用户发送一条预测数据过来立刻返回结果；批量服务即一次性预测大批量数据；准实时服务则是将用户发送过来的数据与已经有的批量预测的结果进行匹配，返回预测结果的一种在线服务。

在线服务、批量服务和准实时服务三种形态基本满足目前工业上对分布式模型服务的需求。对于批量服务还需要按照一定周期定时跑批量的需求；而且当面对海量数据时，一台机器硬件资源无法满足的情况下，此时还需要支持多台机的分布式预测。

目前常用的机器学习第三方库中，只有TensorFlow、PyTorch等大型深度学习库自带了服务功能，且只能支持自己平台的分布式模型部署，只支持实时返回结果的在线服务。而使用量很大的sklearn、xgboost、lightgbm等则只能自己写代码进行部署，效率很低，对开发人员和分布式模型使用者都提出了较高要求，不利于分布式模型的快速部署。现有的机器学习库大部分不支持将分布式模型发布成服务，少数支持的但兼容性、通用性不强。

现有的分布式机器学习平台，例如spark也支持模型服务功能，且可以利用Hadoop生态进行分布式计算，但是存在分布式模型和平台的耦合度高的缺陷；仅支持spark的算法，用户不能自定义算法；由于spark本身的缺陷，导致支持的算法毕竟有限，进而极大限制了应用范围。

现有的云计算平台也提供分布式模型服务功能，只支持在网页点击建模，支持的分布式模型种类较少，无法满足日益增长的各领域对自定义、定制化建模的需求。虽然存在能够同时支持在线服务和批量服务的云计算平台，但是数据来源有限，结果呈现方式单一，只能以网页的方式交互，以演示为主要的目的，根本无法适应工业上现实的需要。

生产环境中分布式模型服务往往只是流水线中的一个组件，还需要和其他组件进行配合，例如数据库系统、消息队列等。现有的分布式模型服务平台与上下游耦合度较高，使用上有诸多限制，通常只兼容厂商内部系统，对外开放程度低，不利于组件化和微服务开发，将大大影响平台的适用范围。

目前的分布式模型服务产品在部署时往往直接部署在物理机或虚拟机上，此种部署方式比较繁琐，而且易受环境影响；若出现生产环境和开发环境不一致的情况，容易导致意想不到的BUG，一旦部署失败或要取消部署又不容易删除干净，污染宿主机环境，可能还会影响下次部署。

目前的分布式模型服务产品大部分只适应单模型的部署，在实际的生产中进行分布式模型切换时必然涉及不同版本之间的A/B测试，此时就需要同时上线多个分布式模型，按策略控制哪个分布式模型来执行计算。目前业内缺乏直接支持一次部署多分布式模型的在线服务的平台。

发明内容

针对现有技术存在的问题，本发明提供了一种基于容器的分布式模型推理服务。

本发明是这样实现的，一种基于容器的分布式模型推理服务方法，包括：

接收需要分布式部署的模型，将该模型文件与部署框架结合，打包成可发布的容器镜像；

容器底层运用名称空间、控制组和切根技术将所述模型的部署环境按照资源、文件、设备、状态和配置实现隔离；

指定副本数和模型的配置文件，将所述分布式模型按照在线服务、批量服务或准实时服务方式实现分布式部署。

可选的，在部署在线服务、批量服务或准实时服务前先制作镜像，在线服务、批量服务和准实时服务三种部署方式先将分布式模型文件提取，根据描述分布式模型文件的信息进行容器镜像的制作，完成的镜像内包含服务运行需要的各种依赖和完整环境，是服务运行的前置条件。

可选的，将该模型文件与部署框架结合，打包成可发布的容器镜像，具体包括：

准备训练好并持久化存储的分布式模型文件，分布式模型可以是机器学习库训练或端到端自定义；

按照一定的格式和规范提供一个描述文件，描述文件内包含了算法类型、模型文件名称、序列化模式、依赖的第三方库信息、输入输出变量信息等内容；在分布式模型包内存储有模型依赖的库文件，供部署框架进行识别并生成对应服务所需的镜像；

分布式模型通过由上游组件推送或者手动上传至模型服务平台。

可选的，在线服务部署方式具体包括：

模型服务平台将已经完成的镜像按照配置运行出若干容器，每个容器暴露自己的端口提供连接，同时向一个网关注册自己的地址和端口，当容器正常运行为部署成功；部署成功生成一个访问的地址，用户在操作界面提供的测试模块对访问的地址进行测试；

用户选择要部署一个或多个分布式模型，如果一次性要部署多个分布式模型，选择流量在不同分布式模型之间的分配方式；

选择每个分布式模型所在容器的资源配额，包括CPU核心数和内存用量；

选择分布式模型的副本数，即部署在几个节点上。

可选的，选择流量在不同分布式模型之间的分配方式包含按概率随机分配或根据首部信息指定分配。

可选的，如果在线服务还需要和上下游其他组件有交互，在线服务和消息队列结合进行流式服务，也可以单独配置。

可选的，对于用户的每次调用后台会有监控来记录调用次数、成功与失败次数指标；目标回流，即每次预测的结果会被保存，得到了该条数据的真实目标值后上传到模型服务平台，模型服务平台给出对模型上线后效果的评估。

可选的，批量服务的部署方式具体包括：

创建批量服务时选择用哪个分布式模型，然后选择容器副本数，每个容器的资源配额，创建好后可以准备预测；

批量服务的预测有2种模式，包括单次的批量推理和按周期执行的定时调度；选择批量推理则一次预测一整批数据，数据的来源选择文件或数据库，输出位置是文件或数据库；每次推理也是用分布式模型文件做成镜像，根据配置运行容器，在容器内拉取数据完成预测，预测完容器立即销毁。

可选的，准实时服务的部署方式具体包括：

选择依赖哪一个定时调度的结果，模型服务平台自动使用定时调度的输出数据库作为准实时的数据源，同时也将自动选好模型；

选择容器副本数，容器按照给定配置启动后向网关进行注册，生成一个可调用的地址，用页面的测试按钮调试接口；

准实时服务的输入数据要一个唯一id，如果输入只有这个id，则与数据库中预测好的结果进行匹配，直接返回该id对应预测值；如果输入除了id还有其他字段，则与数据库匹配，补充完整未给出的字段值，交给模型预测新的结果返回。

可选的，容器底层运用名称空间将所述分布式模型按照资源、文件、设备、状态和配置实现隔离具体包括：

第一步，获取分布式模型并复制到模型服务平台上；

第二步，判断模型服务平台上是否存在存放有分布式模型的环境信息的配置文件；若是，则执行第三步；若否，则执行第四步；

第三步，读取配置文件信息，得出当前项分布式模型需要的环境；

第四步，选择命名空间：将应用实例发布到指定集群的该命名空间下；

第五步，选择发布策略，包括在线服务、批量服务或准实时服务方式；

第六步，选择副本数：副本数在1到30；

第七步，判断模型服务平台上环境镜像是否存在，若不存在，则生成环境镜像；若存在，则通过docker镜像启动docker容器；

第八步，在docker容器中执行预先定义的资源、文件、设备、状态和配置作为目标文件构建命令；

第九步，结束构建操作；

容器底层运用控制组技术将所述分布式模型按照资源、文件、设备、状态和配置实现隔离包括；利用CGroup技术中的devices子系统，将分布式模型的资源、文件、设备、状态和配置虚拟为字符类型设备，允许或拒绝CGroup中的进程访问设备；

容器底层运用切根技术将所述分布式模型按照资源、文件、设备、状态和配置实现隔离；分布式模型按照资源、文件、设备、状态和配置的根目录文件实现根目录位置的隔离；当分布式模型运行时需要改变参考的根目录位置，此时容器底层创建一个新的容器和虚拟根目录，实现不同容器在不同的虚拟根目录下工作。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明使用的容器技术具有轻量便捷性，实现了多种机器学习的分布式模型的一键式多用途部署。与现有技术相比，本发明具备以下优势：

一、由于容器本身具有轻量特性的特性，使得启动、停止、创建、销毁容器都非常便捷。容器技术能最小化一个独立的操作系统环境，与宿主机环境完全隔离，容器之间是独立的，一台宿主机可以快速部署多个容器分别管理，进而实现一个应用的快速部署。本发明提高了分布式模型在模型服务平台的部署效率；与现有技术相比，本发明极大的提高了分布式服务部署速度，同时大幅降低了操作复杂度。

二、目前的模型服务平台大都只兼容商自己构建的分布式模型，对于兼容商之外的自定义模型基本不支持。本发明支持现有的所有主流算法模型，只要按照一定的格式要求给出分布式模型的描述信息和依赖的环境即可支持，并且还支持用户自己写代码制作的自定义模型，与现有技术相比，本发明在通用性和兼容性有了极大提升。

三、目前的模型服务平台在分布式部署方面提供的方案都比较繁琐，操作复杂，部署难度大，而单节点部署又无法发挥出集群计算的性能，是模型应用方面的难点之一。本发明提供的容器化部署方法可轻松支持分布式部署，用户只需要指定容器的副本数即可；所有容器的生命周期和协调管理均由模型服务平台负责，用户只需点击鼠标即可，大幅降低了分布式模型的部署门槛，最大化节约了开发人员在部署环节耗费的时间。本发明灵活的分布式部署支持高可用和大数据预测。

四、在实际生产环境中，模型服务模块并非单独存在，需要依赖上下游的其他组件，例如数据来源可能是数据库，也可能是消息队列推送来的一条消息；现有的模型服务平台往往高度集成，耦合度大，对非厂商自家的技术支持度不够，无法利用用户生产环境已经在使用的上下游组件，限制了用户的使用条件。本发明对模型服务组件进行解耦，不依赖特定环境，自带有多种数据库适配能力，直接使用用户现有的数据库作为数据源，并对很多常用中间件提供支持，进一步拓展了适应性。本发明操作简单，只需鼠标点击就能完成模型上线全过程，使开发人员能更加聚焦在模型本身的开发，节省时间和成本。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的基于容器的分布式模型推理服务方法的流程图；

图2是本发明实施例提供的分布式模型服务功能示意图；

图3是本发明实施例提供的批量服务功能示意图；

图4是本发明实施例提供的需要发布的分布式模型的处理流程图；

图5是本发明实施例提供的本发明实施例提供的在线服务部署方式流程图；

图6是本发明实施例提供的本发明实施例提供的准实时服务的部署方式流程图；

图7是本发明实施例提供的容器底层运用名称空间将所述分布式模型按照资源、文件、设备、状态和配置实现隔离流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1：

如图1所示，本发明实施例提供的基于容器的分布式模型推理服务方法包括以下步骤：

S101：接收需要分布式部署的模型；将该模型文件与部署框架结合，打包成可发布的容器镜像；

S102：容器底层运用名称空间、控制组和切根技术将所述模型的部署环境按照资源、文件、设备、状态和配置实现隔离；

S103：指定副本数和模型的配置文件，将所述分布式模型按照在线服务、批量服务或准实时服务方式实现分布式部署。

本发明提高了分布式模型在模型服务平台的部署效率，与现有技术相比，本发明极大的提高了分布式服务部署速度，同时大幅降低了操作复杂度。本发明支持现有的所有主流算法模型，只要按照一定的格式要求给出分布式模型的描述信息和依赖的环境即可支持，并且还支持用户自己写代码制作的自定义模型，与现有技术相比，本发明在通用性和兼容性有了极大提升。

本发明对模型服务组件进行解耦，不依赖特定环境，自带有多种数据库适配能力，直接使用用户现有的数据库作为数据源，并对很多常用中间件提供支持，进一步拓展了适应性。本发明操作简单，只需鼠标点击就能完成模型上线全过程，使开发人员能更加聚焦在模型本身的开发，节省时间和成本。本发明利用容器技术来部署机器学习模型，使之能对外提供服务，并且支持分布式计算的技术。

本发明提供的容器化部署方法可轻松支持分布式部署，用户只需要指定容器的指定副本数和模型的配置文件即可；所有容器的生命周期和协调管理均由模型服务平台负责，大幅降低了分布式模型的部署门槛，最大化节约了开发人员在部署环节耗费的时间。本发明灵活的分布式部署只需要模型文件和配置文件即可实现几乎所有机器学习模型的部署，强调通用性、兼容性。

实施例2：

在实施例1的基础上，本发明在部署在线服务、批量服务或准实时服务前先制作镜像，在线服务、批量服务和准实时服务三种部署方式先将分布式模型文件提取，根据描述分布式模型文件的信息进行容器镜像的制作，完成的镜像内包含服务运行需要的各种依赖和完整环境，是服务运行的前置条件。

使用容器技术来实现轻量级部署；容器是一种沙盒技术，主要目的是为了将应用运行在其中，与外界隔离；即方便沙盒被转移到其它宿主机器。容器技术本质上是一个特殊的进程，通过名称空间、控制组和切根技术把资源、文件、设备、状态和配置划分到一个独立的空间。

本发明主要采用的是容器技术，容器技术的基础是镜像，其中镜像是文件，是一个只读的模板，同时是一个独立的文件系统；镜像里面包含运行容器所需的数据，用来创建新的容器；容器的本质是基于镜像创建的进程，容器中的进程依赖于镜像中的文件，容器具有写的功能，可以根据需要改写隔离的软件、配置等，并可以保存为新的镜像。本发明使用的容器技术具有轻量便捷性，实现了多种机器学习的分布式模型的一键式多用途部署。

实施例3：

如图4所示，在实施例1的基础上，本发明实施例提供的步骤S101的将该模型文件与部署框架结合，打包成可发布的容器镜像，具体包括：

S301：准备训练好并持久化存储的分布式模型文件，分布式模型可以是机器学习库训练或端到端自定义；

S302：按照一定的格式和规范提供一个描述文件，描述文件内包含了算法类型、模型文件名称、序列化模式、依赖的第三方库信息、输入输出变量信息等内容；在分布式模型包内存储有模型依赖的库文件，供部署框架进行识别并生成对应服务所需的镜像；

S302：分布式模型通过由上游组件推送或者手动上传至模型服务平台。

本发明同时支持现有机器学习库训练和端到端自定义的分布式模型，只要按照一定的格式要求给出分布式模型的描述信息和依赖的环境即可支持，与现有技术相比，本发明在通用性和兼容性有了极大提升。本发明为分布式模型的部署减少了环节耗费的时间，为灵活的分布式部署奠定了基础。

实施例4：

如图2和图5所示，在实施例1的基础上，本发明实施例提供的在线服务部署方式具体包括：

S401：模型服务平台将已经完成的镜像按照配置运行出若干容器，每个容器暴露自己的端口提供连接，同时向一个网关注册自己的地址和端口，当容器正常运行为部署成功；部署成功生成一个可以访问的地址，用户在操作界面提供的测试模块对访问的地址进行测试；

S402：用户选择要部署一个或多个分布式模型，如果一次性要部署多个分布式模型，选择流量在不同分布式模型之间的分配方式；

S403：选择每个分布式模型所在容器的资源配额，包括CPU核心数和内存用量等；

S404：选择分布式模型的副本数，即部署在几个节点上。

在本发明实施例中选择流量在不同分布式模型之间的分配方式包含按概率随机分配或根据首部header信息指定分配。

在本发明实施例中如果在线服务还需要和上下游其他组件有交互，例如在线服务和消息队列结合进行流式服务(图2中的消息队列流失服务)，也可以单独配置。

在本发明实施例中对于用户的每次调用后台会有监控来记录调用次数、成功与失败次数等指标。另外还提供目标回流的功能，即每次预测的结果会被保存下来，得到了该条数据的真实目标值后可以上传到模型服务平台，模型服务平台给出对模型上线后效果的评估，供建模人员参考。

本发明提供的在线服务部署采用容器化部署方法可轻松支持分布式部署，用户只需要指定容器的指定副本数和模型的配置文件即可；所有容器的生命周期和协调管理均由模型服务平台负责，大幅降低了在线服务的部署门槛，最大化节约了开发人员在部署环节耗费的时间。本发明灵活的分布式部署支持高可用和大数据预测。

实施例5：

如图2所示，在实施例1的基础上，本发明实施例提供的批量服务的部署方式具体包括：

创建批量服务时选择用哪个分布式模型，然后选择容器副本数，每个容器的资源配额，创建好后可以准备预测。

批量服务的预测有2种模式，包括单次的批量推理和按周期执行的定时调度；选择批量推理则一次预测一整批数据，数据的来源选择文件或数据库，输出位置是文件或数据库。每次推理也是用分布式模型文件做成镜像，根据配置运行容器，在容器内拉取数据完成预测，预测完容器立即销毁。

如果选择定时调度，则输入输出信息和运行的周期，目前模型服务平台还支持前置依赖、失败后预警等业界真实需要的功能；设置好后每当达到定义的时间就会触发一次批量推理；定时调度一次设置自动跑批，批量服务一样也支持目标回流功能，根据回流值可对上线后的模型做出更准确评价。批量服务多副本部署采用主从架构(图3)，可充分利用集群计算资源。

本发明提供的批量服务的部署采用容器化部署方法可轻松支持分布式部署，用户只需要指定容器的副本数即可；所有容器的生命周期和协调管理均由模型服务平台负责，用户只需点击鼠标即可，大幅降低了批量服务的部署门槛，最大化节约了开发人员在部署环节耗费的时间。另外，本发明定时调度一次设置自动跑批，免去手动操作的繁琐，更贴合工业需要；批量服务一样也支持目标回流功能，根据回流值可对上线后的模型做出更准确评价；批量服务多副本部署采用主从架构，可充分利用集群计算资源。

实施例6：

如图2和图6所示，在实施例1的基础上，本发明实施例提供的准实时服务的部署方式具体包括：

S601：选择依赖哪一个定时调度的结果，模型服务平台自动使用定时调度的输出数据库作为准实时的数据源，同时也将自动选好模型；

S602：选择容器副本数，容器按照给定配置启动后向网关进行注册，生成一个可调用的地址，用页面的测试按钮调试接口；

S603：准实时服务的输入数据要一个唯一id，如果输入只有这个id，则与数据库中预测好的结果进行匹配，直接返回该id对应预测值；如果输入除了id还有其他字段，则与数据库匹配，补充完整未给出的字段值，交给模型预测新的结果返回。

在本发明的实施例中部署准实时服务(图2中的准实时服务)，准实时服务是介于在线和批量之间的一种服务模式，一部分数据依赖于批量预测的结果，一部分是调用时传进去；准实时服务同样支持目标值回流功能，根据回流值可对上线后的模型做出更准确评价。

本发明提供的准实时服务的部署采用容器化部署方法可轻松支持分布式部署，用户只需要指定容器的副本数即可；所有容器的生命周期和协调管理均由模型服务平台负责，用户只需点击鼠标即可，大幅降低了准实时服务的部署门槛，最大化节约了开发人员在部署环节耗费的时间。另外，准实时服务一样也支持目标回流功能，根据回流值可对上线后的模型做出更准确评价。

实施例7：

在实施例1的基础上，本发明实施例提供的容器底层运用名称空间将所述分布式模型按照资源、文件、设备、状态和配置实现隔离具体包括：

S701：获取分布式模型并复制到模型服务平台上；

S702：判断模型服务平台上是否存在存放有分布式模型的环境信息的配置文件；若是，则执行S703；若否，则执行S704；

S703：读取配置文件信息，得出当前项分布式模型需要的环境；

S704：选择命名空间：将应用实例发布到指定集群的该命名空间下；

S705：选择发布策略，包括在线服务、批量服务或准实时服务方式；

S706：选择副本数：副本数在1到30；

S707：判断模型服务平台上环境镜像是否存在，若不存在，则生成环境镜像；若存在，则通过docker镜像启动docker容器；

S708：在docker容器中执行预先定义的资源、文件、设备、状态和配置作为目标文件构建命令；

S709：结束构建操作。

本发明容器底层运用控制组技术将所述分布式模型按照资源、文件、设备、状态和配置实现隔离包括；利用CGroup技术中的devices子系统，将分布式模型的资源、文件、设备、状态和配置虚拟为字符类型设备，允许或拒绝CGroup中的进程访问设备。

本发明容器底层运用切根技术将所述分布式模型按照资源、文件、设备、状态和配置实现隔离；分布式模型按照资源、文件、设备、状态和配置的根目录文件实现根目录位置的隔离；当分布式模型运行时需要改变参考的根目录位置，此时容器底层创建一个新的容器和虚拟根目录，从而实现不同容器在不同的虚拟根目录下工作，从而相互不直接影响。

本发明降低了运维人员手动操作的风险，提供在线服务、批量服务或准实时服务方式三种策略，降低发布风险；可以根据用户Kubernetes集群的实际情况进行灵活设置；本发明使用docker容器的方式启动需要的环境，在使用完成之后，容器自动退出，释放资源，避免了资源的浪费。本发明使用docker镜像来提供环境，镜像是按照统一标准构建出来的，不管在Linux系统还是Windows系统上面，只要有docker服务，就能识别docker镜像。所有容器的生命周期和协调管理均由模型服务平台负责，用户只需点击鼠标即可，大幅降低了分布式模型的部署门槛，最大化节约了开发人员在部署环节耗费的时间。本发明灵活的分布式部署支持高可用和大数据预测。

实施例8：

在实施例1的基础上，本发明实施例提供的对模型服务平台进行解耦处理，具体包括，自带有多种数据库适配能力，直接使用用户现有的数据库作为数据源，其中数据库验证采用可逆布隆过滤器，具体包括：

可逆布隆过滤器定义为：令f,χ:

为两个随机散列函数；定义每个CIBF单元B[i]中包含三个字段：1≤i≤q；

“count”字段，初始值为0：计数器字段，其中存储单元B[i]中的所有元素的数量1≤i≤q；B[i]中元素x的插入或删除等于B[i].count加1或减1；

“idHash”字段，具有初始值χ(0)：承诺值字段，其存储B[i]中所有有序元素的散列值χ(·)；

定义B[q+1].count和B[q+1].idHash字段分别代表数据库前q项数据的f(count)和idHash的向量承诺，即B[q+1].count＝VC(f(B[0].count)，...，f(B[q].count))，B[q+1].idHash＝VC(χ(B[0].count),...,χ(B[q].count))。

本发明采用可逆布隆过滤器实现了数据库的安全验证，减小了公共参数及向量承诺重新计算的额外开销，提高了验证效率；为动态云数据库的安全验证提供技术支撑，保证数据库的完整性。本发明对模型服务组件进行解耦，自带有多种数据库适配能力，直接使用用户现有的数据库作为数据源，提高了对模型服务组件的处理效率，提高了分布式模型在模型服务平台的部署效率和速度，同时大幅降低了操作复杂度。

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

以上所述，仅为本发明较优的具体的实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于容器的分布式模型推理服务方法，其特征在于，包括：

接收需要分布式部署的模型，将该模型文件与部署框架结合，打包成可发布的容器镜像；

容器底层运用名称空间、控制组和切根技术将所述模型的部署环境按照资源、文件、设备、状态和配置实现隔离；

指定副本数和模型的配置文件，将所述分布式模型按照在线服务、批量服务或准实时服务方式实现分布式部署。

2.如权利要求1所述的基于容器的分布式模型推理服务方法，其特征在于，在部署在线服务、批量服务或准实时服务前先制作镜像，在线服务、批量服务和准实时服务三种部署方式先将模型文件提取，根据描述分布式模型文件的信息进行容器镜像的制作，完成的镜像内包含服务运行需要的各种依赖和完整环境，是服务运行的前置条件。

3.如权利要求1所述的基于容器的分布式模型推理服务方法，其特征在于，将该模型文件与部署框架结合，打包成可发布的容器镜像，具体包括：

准备训练好并持久化存储的分布式模型文件，分布式模型可以是机器学习库训练或端到端自定义；

按照一定的格式和规范提供一个描述文件，描述文件内包含了算法类型、模型文件名称、序列化模式、依赖的第三方库信息、输入输出变量信息等内容；在分布式模型包内存储有模型依赖的库文件，供部署框架进行识别并生成对应服务所需的镜像；

部署框架内已包含一个web服务框架，供在线服务使用；

模型文件通过由上游组件推送或者手动上传至平台。

4.如权利要求1所述的基于容器的分布式模型推理服务方法，其特征在于，在线服务部署方式具体包括：

模型服务平台将已经完成的镜像按照配置运行出若干容器，每个容器暴露自己的端口提供连接，同时向一个网关注册自己的地址和端口，当容器正常运行为部署成功；部署成功生成一个访问的地址，用户在操作界面提供的测试模块对访问的地址进行测试；

该方法支持部署一个或多个模型，如果一次性要部署多个模型，选择流量在不同模型之间的分配方式；

选择每个分布式模型所在容器的资源配额，包括CPU核心数和内存用量；

选择分布式模型的副本数，即部署在几个节点上。

5.如权利要求4所述的基于容器的分布式模型推理服务方法，其特征在于，选择流量在不同模型之间的分配方式包括但不限于按概率随机分配、根据首部信息指定分配、A/BTest、灰度发布、蓝绿部署；

如果在线服务还需要和上下游其他组件有交互，在线服务和消息队列结合进行流式服务，也可以单独配置。

6.如权利要求4所述的基于容器的分布式模型推理服务方法，其特征在于，请求服务的数据可以完全由调用者提供，也可以部分由调用者提供，部分由服务到指定数据库查找，共同组成完整数据。

7.如权利要求4所述的基于容器的分布式模型推理服务方法，其特征在于，对于用户的每次调用后台会有监控来记录调用次数、成功与失败次数指标；目标回流，即每次预测的结果会被保存，得到了该条数据的真实目标值后上传到平台，平台给出对模型上线后效果的评估。

8.如权利要求1所述的基于容器的分布式模型推理服务方法，其特征在于，批量服务的部署方式具体包括：

创建批量服务时选择用哪个分布式模型，然后选择容器副本数，每个容器的资源配额，创建好后可以准备预测；

批量服务的预测有2种模式，包括单次的批量推理和按周期执行的定时调度；选择批量推理则一次预测一整批数据，数据的来源选择文件或数据库，输出位置是文件或数据库；每次推理也是用分布式模型文件做成镜像，根据配置运行容器，在容器内拉取数据完成预测，预测完容器立即销毁。

9.如权利要求1所述的基于容器的分布式模型推理服务方法，其特征在于，准实时服务的部署方式具体包括：

选择依赖哪一个定时调度的结果，平台自动使用定时调度的输出数据库作为准实时的数据源，同时也将自动选好模型；

选择容器副本数，容器按照给定配置启动后向网关进行注册，生成一个可调用的地址，用页面的测试按钮调试接口；

准实时服务的输入数据要一个唯一id，如果输入只有这个id，则与数据库中预测好的结果进行匹配，直接返回该id对应预测值；如果输入除了id还有其他字段，则与数据库匹配，补充完整未给出的字段值，交给模型预测新的结果返回。

10.如权利要求1所述的基于容器的分布式模型推理服务方法，其特征在于，容器底层运用名称空间将所述分布式模型按照资源、文件、设备、状态和配置实现隔离具体包括：

第一步，获取模型文件并复制到平台上；

第二步，判断平台上是否存在存放有分布式模型的环境信息的配置文件；若是，则执行第三步；若否，则执行第四步；

第三步，读取配置文件信息，得出当前项分布式模型需要的环境；

第四步，选择资源组：将应用实例发布到指定集群的该资源组下；

第五步，选择发布策略，包括在线服务、批量服务或准实时服务方式；

第六步，选择副本数：副本数在1到30；

第七步，判断模型服务平台上环境镜像是否存在，若不存在，则生成环境镜像；若存在，则通过docker镜像启动docker容器；

第八步，在docker容器中执行预先定义的资源、文件、设备、状态和配置作为目标文件构建命令；

第九步，结束构建操作；

容器底层运用控制组技术将所述分布式模型按照资源、文件、设备、状态和配置实现隔离包括；利用CGroup技术中的devices子系统，将分布式模型的资源、文件、设备、状态和配置虚拟为字符类型设备，允许或拒绝CGroup中的进程访问设备；

容器底层运用切根技术将所述分布式模型按照资源、文件、设备、状态和配置实现隔离；分布式模型按照资源、文件、设备、状态和配置的根目录文件实现根目录位置的隔离；当分布式模型运行时需要改变参考的根目录位置，此时容器底层创建一个新的容器和虚拟根目录，实现不同容器在不同的虚拟根目录下工作。

Images