CN110659261A

CN110659261A - 一种数据挖掘模型发布方法及模型和模型服务管理方法

Info

Publication number: CN110659261A
Application number: CN201910886529.0A
Authority: CN
Inventors: 不公告发明人
Original assignee: Chengdu Shuzhilian Technology Co Ltd
Current assignee: Chengdu Shuzhilian Technology Co Ltd
Priority date: 2019-09-19
Filing date: 2019-09-19
Publication date: 2020-01-07

Abstract

本发明公开了一种数据挖掘模型发布方法及模型和模型服务管理方法，包括：在线创建数据挖掘训练任务并在线训练生成数据挖掘模型；收集数据挖掘模型信息并存储在模型信息数据库，将数据挖掘模型存储在模型服务器；根据数据挖掘模型信息，创建数据挖掘模型服务信息并存储在模型服务信息数据库，根据模型服务信息配置服务运行的环境变量，并将环境变量配置文件存储在模型服务器，根据环境变量配置文件创建数据挖掘模型服务。本方法能够将数据挖掘模型发布为Web服务，支持模型预测、模型信息查询等功能，有助于降低Web应用开发成本以及科学管理模型和模型服务。

Description

一种数据挖掘模型发布方法及模型和模型服务管理方法

技术领域

本发明涉及机器学习算法模型在线部署领域，具体地，涉及一种数据挖掘模型发布方法及模型和模型服务管理方法。

背景技术

随着机器学习、数据挖掘等领域的发展，将模型部署到线上提供在线获取模型服务，使得开发人员利用机器学习模型解决业务问题更加便捷。

传统的模型在线服务方法主要是将训练好的模型导成PMML文件，并存储在Web服务器，需要在Web应用程序内部加载模型，并且为每个模型搭建单独的模型应用程序，从而将模型部署为在线服务。PMML文件虽然能够跨多种平台使用，但存在模型文件过大、模型加载速度较慢等缺点；并且Web应用开发人员需要根据不同模型搭建不同的模型应用程序，提高了开发成本；各个模型服务嵌入应用内部，致使模型维护困难。如何将模型高效部署成线上服务以及模型的科学管理成为需要解决的重要问题。

发明内容

本发明的目的是为了降低数据挖掘模型在线应用设计成本，为用户提供一站式模型线上部署和获取模型服务的接口。

本发明提供了一种数据挖掘模型发布方法及模型和模型服务管理方法，本方法能够将数据挖掘模型发布为Web服务，支持模型预测、模型信息查询等功能，有助于降低Web应用开发成本以及科学管理模型和模型服务。

本发明提供了一种数据挖掘模型发布方法，所述方法包括：

建立模型，通过在线创建数据挖掘训练任务并在线训练生成模型完成模型构建。

持久化存储模型，接收用户存储模型的事件，收集模型信息存入模型信息数据库，所述模型信息包括模型ID、模型名称、模型描述信息、模型存储路径等，持久化存储模型文件在模型服务器。

发布模型，接收用户的模型发布请求事件，根据所述模型信息构建模型服务信息并存储在模型服务信息数据库，所述模型服务信息包括模型服务ID、模型存储路径、模型服务名称、模型服务描述等，根据所述模型服务信息配置服务运行的环境变量并将环境变量配置文件保存在所述模型服务器，根据所述环境变量启动模型服务程序以将模型部署到线上。模型服务启动程序首先加载环境变量并进行用户安全认证，通过认证后加载模型，启动容器服务并生成请求地址。所述模型服务成功启动后持续监听用户请求，根据所述用户请求预测以及反馈模型信息。

本方法还提供了一种基于数据挖掘的模型和模型服务管理方法，包括：

模型管理，对于持久化存储的模型，用户可以进行编辑、删除、下载、发布等操作。所述模型编辑即修改所述模型信息数据库中存储的模型信息；所述模型删除，首先删除持久化存储的模型文件，然后删除模型信息数据库中存储的模型文件对应的模型信息；所述模型下载是将模型文件下载到本地文件系统；所述模型发布是将持久化存储的模型发布为在线服务。

模型服务管理，对于已发布的模型服务，用户可以进行编辑、删除、查看请求地址等操作。所述编辑模型服务即修改模型服务信息数据库中存储的模型服务信息；所述删除模型服务，首先停止并删除模型服务的容器，然后删除模型服务对应的环境变量配置文件，最后删除模型服务信息数据库中存储的模型服务信息；所述模型服务的请求地址是用户获取模型服务的Restful API。

本申请提供的一个或多个技术方案，至少具有如下技术效果或优点：

本发明采用容器技术为用户提供一种微服务模型部署方式，用户只需访问模型的RestfulAPI即可获取模型服务，极大降低了模型在线应用集成WEB应用的开发成本。用户根据自己需要的Web应用设计，可以发布多个模型服务，每个模型都独立部署，使用户拥有一组粒度相对较细的模型服务，各个模型的维护也相对容易。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本发明的一部分，并不构成对本发明实施例的限定；

图1示出了本发明实施例提供的一种数据挖掘模型发布与管理整体流程示意图；

图2示出了本发明实施例提供的一种将模型发布为Web服务的流程示意图；

图3示出了本发明实施例提供的一种启动模型容器服务的流程示意图；

图4示出了本发明实施例提供的一种模型服务响应用户请求的流程示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

如图1所示，本发明实施例提供的数据挖掘模型的发布与管理整体流程：

步骤S101，在线创建数据挖掘训练任务并在线训练生成模型；

本发明实施例所述数据挖掘训练任务是针对能够完成数据挖掘任务，但未经优化的模型，训练优化模型参数，当训练结果达到要求时模型训练完成。如果用户选择存储模型，本发明实施例提供了将模型持久化存储在模型服务器的方法，通过提取模型的固有信息(如模型的meta信息、模型存储路径等)，同时加入如模型ID、模型描述等字段构建模型信息并存入模型信息数据库，模型信息数据库中一条模型信息即代表一个持久化存储的模型。

步骤S102，用户对持久化存储在模型服务器的模型执行编辑、下载、删除、发布等操作；

本发明实施例提供编辑已完成持久化存储的模型的方法，可编辑的内容为模型名称和模型描述信息，通过修改模型信息数据库存储的模型信息完成编辑操作。本发明实施例提供模型下载方法，服务器接收用户的下载请求，与客户端建立通信连接，完成下载任务。本发明实施例提供模型删除方法，先删除存储在模型服务器的模型文件，然后删除模型信息数据库中存储的模型文件对应的模型信息。本发明实施例提供模型发布方法，接收到用户的发布请求时即进入下一步，执行模型发布。

步骤S103，如果进行所述发布操作，则收集模型必要信息，构建模型服务信息，执行模型发布程序，将模型发布为Web服务；

如图2所示模型发布流程，首先提取所述模型信息，根据所述模型信息构建模型服务信息，模型服务信息包括：模型服务ID、模型服务名称、模型服务描述信息、模型存储路径等，然后将模型服务信息存入模型服务信息数据库，一条模型服务信息即代表一个模型服务。再根据模型服务信息配置模型服务运行的环境变量(包括模型的存储路径等)，并将环境变量的配置文件存入模型服务器。最后根据环境变量发布模型服务。

所述模型服务是部署为线上容器服务，所述模型服务的启动流程如图3所示。本发明实施例提供的模型服务启动方法，首先读取所述环境变量并进行用户安全认证，所述环境变量包含模型的存储路径，根据存储路径加载模型，然后启动http服务，暴露服务器服务端口，生成模型服务的请求地址(Restful API)，模型服务启动完成。如图4所示，用户在自己的应用程序中访问所述请求地址并发送post请求，即可进行预测，发送get请求即可获取模型的meta信息。所述容器服务顺利启动，则模型服务就一直处于活跃状态，可执行模型服务管理操作。

步骤S104，用户对发布的模型服务执行编辑、删除、查看请求地址等操作。

本实施例提供编辑模型服务的方法，可编辑内容为模型服务的名称和模型服务描述信息，通过修改该模型服务在模型服务信息数据库中存储的模型服务信息完成；本实施例提供删除模型服务的方法，首先停止并删除容器服务，然后删除容器服务对应的环境变量配置文件，最后删除容器服务对应的模型服务信息。用户可直接在客户端查看模型服务的请求地址，本发明实施例提供的模型服务请求地址编码格式为“服务器地址：端口映射地址”。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种数据挖掘模型发布方法，其特征在于，所述方法包括：

在线创建数据挖掘训练任务并在线训练生成数据挖掘模型；

接收用户存储数据挖掘模型的事件信息，收集数据挖掘模型信息并存储到模型信息数据库，将数据挖掘模型存储在模型服务器；

接收用户数据挖掘模型发布请求事件信息，根据数据挖掘模型信息创建数据挖掘模型服务信息并存储在模型服务信息数据库，根据模型服务信息配置服务运行的环境变量，并将环境变量配置文件存储在模型服务器，根据环境变量配置文件创建数据挖掘模型服务。

2.根据权利要求1所述的一种数据挖掘模型发布方法，其特征在于，数据挖掘模型持久化存储在模型服务器。

3.根据权利要求1所述的一种数据挖掘模型发布方法，其特征在于，数据挖掘模型信息包括但不限于：数据挖掘模型ID、数据挖掘模型名称、数据挖掘模型描述信息和数据挖掘模型存储路径。

4.根据权利要求1所述的一种数据挖掘模型发布方法，其特征在于，数据挖掘模型服务信息包括但不限于：数据挖掘模型服务ID、数据挖掘模型存储路径、数据挖掘模型服务名称和数据挖掘模型服务描述。

5.根据权利要求1所述的一种数据挖掘模型发布方法，其特征在于，环境变量配置文件至少包括数据挖掘模型存储路径。

6.根据权利要求1所述的一种数据挖掘模型发布方法，其特征在于，数据挖掘模型服务读取环境变量配置文件后进行用户安全认证，通过认证后加载数据挖掘模型，生成服务请求地址并持续监听用户请求信息，根据用户请求信息反馈用户预测结果或数据挖掘模型信息。

7.一种采用权利要求1-6任意一个所述的一种数据挖掘模型发布方法所发布的数据挖掘模型管理方法，其特征在于，数据挖掘模型管理方法包括：对存储在模型服务器的目标数据挖掘模型执行编辑、删除、下载和发布操作。

8.根据权利要求7所述的数据挖掘模型管理方法，其特征在于，模型编辑为：修改模型信息数据库中目标数据挖掘模型信息的数据挖掘模型名称、数据挖掘模型描述；模型删除为：首先删除存储在模型服务器中的目标数据挖掘模型，然后删除模型信息数据库存储的对应目标数据挖掘模型信息。

9.一种采用权利要求1-6任意一个所述的一种数据挖掘模型发布方法所创建的数据挖掘模型服务管理方法，其特征在于，数据挖掘模型服务管理方法包括：对已经发布的数据挖掘模型服务执行编辑、删除、查看请求地址操作。

10.根据权利要求9所述的数据挖掘模型服务管理方法，其特征在于，数据挖掘模型服务编辑为：修改模型服务信息数据库中目标数据挖掘模型服务信息的数据挖掘模型服务名称、数据挖掘模型服务描述；数据挖掘模型服务删除为：首先停止并删除目标数据挖掘模型服务，然后删除目标数据挖掘模型服务的环境变量配置文件，最后删除模型服务信息数据库存储的目标数据挖掘模型服务信息。