CN111309378A - 一种机器学习模型生命周期管理系统及方法 - Google Patents

Abstract

本发明公开了一种机器学习模型生命周期管理系统及方法，以减少重复性工作、系统性的管理模型、实现模型的快速上线迭代为目的，通过将机器学习模型生命周期服务模块化，实现从模型创建到模型部署的无缝衔接，保证模型服务的使用，以及操作方便快捷。

Description

一种机器学习模型生命周期管理系统及方法

技术领域

本发明属于机器学习模型管理技术领域，具体涉及一种机器学习模型生命周期管理系统及方法。

背景技术

人工智能的发展成果在金融得到了广泛的推崇和应用，模型服务在各个业务领域发挥着日益重要的作用，目前模型服务开发缺乏统一的系统管理，开发人员在模型生命周期各阶段作者零碎的工作，投入了大量的人力和物力，然而随着应用规模的扩大和复杂程度加深，模型的开发、管理、运行监控等仍然存在一定的缺陷：

1)训练数据需要手工完成：由于缺乏统一的特征管理平台，目前训练需要的原始数据仍需要算法工程师自行收集、整理和清洗；

2)不少模型上线过程繁琐：重复性工作较多，工作效率低；

3)实时服务模型的开发周期长；

4)适应多种开发语言难：不同的工程师们可能采用不同的开发语言，使得彼此沟通受阻；

5)数据没有系统化管理：目前工程师们训练所需要的数据大多数都是靠自己收集与调用，面临如何存储和再利用的问题，当数据量变得巨大时，数据操作变得困难。

现阶段的模型服务开发流程大致为模型生成、模型执行、模型优化和模型部署四个阶段，算法工程师需要从数据预处理开始，到流程中每一个阶段都要自行调试、整理，过程繁琐、重复性工作多，使得开发效率低下。

发明内容

针对现有技术中的上述不足，本发明提供的一种机器学习模型生命周期管理系统及方法解决了现有的机器学习模型生命周期管理过程中重复性工作多、模型开发缺乏系统管理和数据存储和管理困难的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种机器学习模型生命周期管理系统，包括依次连接的模板库模块、训练模型模块和上线模块；

所述模板库模块用于实现模板导入、模板新建、模板修改、模板删除和模板搜索；

所述训练模型模块用于实现导入模型、从模板库新建模型、模型传参运行、导出模型、修改模型和上线模型；

所述上线模块用于实现模型运行、模型删除和模型搜索。

进一步地，所述机器学习模型生命周期管理系统用于对机器学习模型进行生命周期管理；

所述机器学习模型对应于Zepplin中的note，且所述机器学习模型的代码存储于每个paragraph的text属性中；

所述Zeppelin中的一个Note包含至少一个paragraph，所述Paragraph为Zepplin中的最小运行单元，且每个所述paragraph为一个代码段；

所述Zeppelin单独运行一个paragraph或运行对应的整个note，且当运行note时，note中的paragraph按顺序运行，并继承上下文关系。

一种机器学习模型生命周期管理方法，包括以下步骤：

S1、模型生成：通过模板库模块调用封装好的数据预处理方法、特征工程方法和模式结构，构造对应的基础机器学习模型；

S2、模型执行：通过训练模型模块选择模板库模块中存储的方法构成代码块或编辑修改新的功能代码，将基础机器学习模型形成可执行的机器学习模型，并通过训练模型模块传参运行机器学习模型；

S3、模型优化：通过训练模型模块修改传入的参数来进行超参数优化或改变机器学习模型的网络结构、损失函数及梯度下降算法，实现对机器学习模型的调优进而形成训练好的机器学习模型，并传输至上线模块中；

S4、模型部署：将训练好的机器学习模型封装部署为上线模型并进行模型运行，提供模型推断服务，实现机器学习模型生命周期管理。

进一步地，在机器学习模型的生命周期管理中，通过引入模型状态机制来表示机器学习模型在不同阶段时的状态；

其中，步骤S1中构造的基础机器学习模型的状态为template；

步骤S2中模型生成过程中的形成的可执行的机器学习模型和步骤S3模型优化过程中的训练好的机器学习模型的状态均为train；

步骤S4中的模型部署过程中部署封装好的机器学习模型的状态为deploy。

进一步地，所述步骤S1具体为：

S11、文件导入：从本地选择Zepplin note格式的json文件，并更新模板库模块中的模板库列表；

S12、模型确定：确定需要新建的机器学习模型的类型和模型信息，并在Zepplinweb页面中根据模型类型和模型信息生成一个新的note；

S13、模型构造：对形成的新的note进行解释器绑定和paragraphs代码编写，将其保存至模板库模块中并更新模板库列表，完成基础机器学习模型的构造。

进一步地，所述步骤S1中，在模型构造过程中，还包括对模板库列表中的模型进行修改或删除；

其中，对模型修改的方法具体为：进入Zeppelin web对应note，进行对应的配置和代码修改并更新模板库列表；

对模型删除的方法具体为：在模板库列表中直接删除对应的模型并更新模板库列表。

进一步地，所述步骤S2中，通过训练模型模块传参运行机器学习模型的方法具体为：

A1、通过restful API将机器学习模型的note ID传到Zeppelin；

A2、在Zeppelin中，通过note运行机制并引入模型参数实现机器学习模型传参运行；

其中，note运行机制为通过解释器解析note中的paragraph的text属性的值来运行机器学习模型的note。

进一步地，所述步骤A2中，引入模型参数的方法为：

在运行机器学习模型时，根据设置的模型参数来确定传递信息，用设置的参数值替代原text中的对应参数值，实现传参运行。

进一步地，所述步骤S4中对封装部署好的机器学习模型进行模型运行的方法具体为：

B1、通过restful API将机器学习模型的note ID传到Zeppelin；

B2、在Zeppelin通过note运行机制运行机器学习模型；

B3、将机器学习模型的运行结果返回至web，并在web UI中展示出对应的模型推断服务结果。

本发明的有益效果为：

(1)重复性工作多的问题得到解决：本发明实现了模板库的模块化服务，将常用的一些方法、损失函数、模型结构、优化函数等进一步封装，形成模块化的模板库，开发人员可以通过模板库直接调用常用的方法，增强了代码的复用性，提高了开发效率。

(2)采用科学系统的方法管理模型开发，缩短了开发周期：本发明提出了一种机器学习模型生命周期的综合管理方法，并实现可视化、易操作的完整系统，使模型开发能在系统上高效、井然有序的进行；本发明系统的管理模型开发的整个流程，实现各阶段的无缝衔接，缩短了模型开发周期。

(3)提供了多种开发语言的编译解释环境，提高了模型的语言泛化能力，使模型开发更方便快捷：本发明基于Apache Zeppelin源码进行二次开发，支持Python、Spark、R、Angular、Markdown等语言的编译开发，开发更多Zeppelin的调用接口，实现更多所需场景的调用。

(4)大数据的存储和管理问题得到解决：本发明通过搭建Hadoop分布式框架，利用分布式文件系统(HDFS)进行大数据的处理与存储，服务器通过接口与HDFS进行数据交互，节约数据的存储空间，有利于数据的再利用。

附图说明

图1为本发明提供的机器学习模型生命周期管理系统架构图。

图2为本发明提供的Zeppelin架构原理框图。

图3为本发明提供的Zeppelin通信原理图。

图4为本发明提供的机器学习模型生命周期管理方法流程图。

图5为本发明提供的模板库模块时序图。

图6为本发明提供的训练模型模块时序图。

图7为本发明提供的上线模型模块时序图

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

本发明提供了一种机器学习模型生命周期综合管理方法并开发了完整的系统，主要解决以下问题：

1)解决重复性工作多的问题：在模型生命周期的开发流程中，往往会遇到使用一些常用的方法或技术，比如数据预处理方法、特征工程方法、常用的网络模型以及常用的函数等。这会给算法工程师们带来许多重复性的工作，导致错误率提升以及工作效率降低。本发明尝试将常用的方法和技术进一步封装进模板库模块，通过调用模板库方法复用模型生命周期各阶段常用处理方法，提高了算法和代码的复用性，减少了重复性工作。

2)解决模型开发缺乏系统管理、开发周期长的问题：现有模型开发过程繁琐，各阶段开发工作交织在一起，导致开发过程繁琐、时间长。本发明通过系统地管理模型生命周期中的每个阶段，实现流程种各阶段的无缝衔接，缩短开发时间，提高开发效率。

3)解决多种开发语言共同工作的问题：模型开发中涉及多语言的库的调用，缺乏多语言的编译环境。本发明基于Apache Zeppelin源码，实现多种开发语言的可解释工作，提供多种开发语言的编译环境，为多种语言的共同开发提供可能，提高模型的兼容能力。

4)解决数据存储和管理的问题：模型训练依托于大量的数据，实际开发中大量数据缺乏系统化的管理，导致存储和再利用困难。本发明通过搭建Hadoop分布式处理框架，利用HDFS(分布式文件系统)存储管理海量数据，通过接口远程处理数据，解决了数据量大带来的存储问题和数据管理问题。

如图1-2所示，Apache Zeppelin是一个让交互式数据分析变得可行的基于网页的开源框架，Zeppelin提供了数据分析、数据可视化等功能。zeppelin的核心功能：支持多语言混合的REPL(Read-Evaluation-Print-Loop)。zeppelin本质上是一个web应用程序，它以独立的jvm进程的方式来启动Interpreter(解释器)，交互式(repl)执行各种语言的代码片段，并将结果以html代码片段的形式返回给前端UI。

Zeppelin提供代码片段的运行环境，执行模型代码，node服务提供可视化的可操作界面对模型开发流程进行管理，Hadoop分布式框架提供数据分析和存储，MySQL数据库为node服务提供数据管理，Docker容器对node服务，Zeppelin服务，MySQL数据库进行容器封装，便于线上部署。

其中Server和Client通信通过jetty内嵌服务器提供WebSocket服务和RESTful服务。Zeppelin中采用单独的jvm来启动interpreter进程，interpreter进程用于执行各语言代码编译与运行，该Interpreter进程与Zeppelin Server进程之间采用Thrift协议通信。

实施例1：

如图1所示，一种机器学习模型生命周期管理系统，包括依次连接的模板库模块、训练模型模块和上线模块；

模板库模块用于实现模板导入、模板新建、模板修改、模板删除和模板搜索等功能，同时模板库模型中封装了许多数据预处理方法、特征功能方法、常用模型结构等常用方法；

训练模型模块用于实现导入模型、从模板库新建模型、模型传参运行、导出模型、修改模型和上线模型等功能，该训练模型模块可以从模板模块模块中选择多种方法策略来构建需要的模型，并进行传参运行、调参优化等；

上线模块用于实现模型运行、模型删除和模型搜索，该上线模块对训练好的机器学习模型进行部署上线，提供模型的调用。

本发明实施例的机器学习模型生命周期管理系统用于对机器学习模型进行生命周期管理；

机器学习模型对应于Zepplin中的note，且机器学习模型的代码存储于每个paragraph的text属性中；

Zeppelin中的一个Note包含至少一个paragraph，Paragraph为Zepplin中的最小运行单元，且每个paragraph为一个代码段；

Zeppelin单独运行一个paragraph或运行对应的整个note，且当运行note时，note中的paragraph按顺序运行，并继承上下文关系。

本发明所构造的模型的代码存储在每个paragraph的text属性中，运行时，Zeppelin根据获取绑定的interpreter属性调用对应的解析器来运行text，最后将运行结果返回。Zeppelin的note运行通信原理如图3所示，具体过程如下：

(1)在可视化操作界面发出note运行请求到notebook server；

(2)Notebook server找到提出运行请求的note及note中所有paragraph；

(3)将这些paragraph提交到绑定的解释器；

(4)解释器创建或者获取已存在的调度器；

(5)调度器将任务提交到job队列；

(6)job队列进行轮询，选择要执行的job；

(7)执行job，并更新job进度到notebook server；

(8)Notebook server广播job进度到web UI，可视化执行进度；

(9)运行结束notebook server广播结果到web。

如图4所示，机器学习模型生命周期管理方法，包括以下步骤：

S1、模型生成：通过模板库模块调用封装好的数据预处理方法、特征工程方法和模式结构，构造对应的基础机器学习模型；

S2、模型执行：通过训练模型模块选择模板库模块中存储的方法构成代码块或编辑修改新的功能代码，将基础机器学习模型形成可执行的机器学习模型，并通过训练模型模块传参运行机器学习模型；

S3、模型优化：通过训练模型模块修改传入的参数来进行超参数优化或改变机器学习模型的网络结构、损失函数及梯度下降算法，实现对机器学习模型的调优进而形成训练好的机器学习模型，并传输至部署上线模块中；

S4、模型部署：将训练好的机器学习模型封装部署为上线模型并进行模型运行，提供模型推断服务，实现机器学习模型的生命周期管理。

在上述机器学习模型的生命周期管理中，通过引入模型状态机制来表示机器学习模型在不同阶段时的状态；

其中，步骤S1中构造的基础机器学习模型的状态为template；

步骤S2中模型生成过程中的形成的可执行的机器学习模型和步骤S3模型优化过程中的训练好的机器学习模型的状态均为train；

步骤S4中的模型部署过程中部署封装好的机器学习模型的状态为deploy。

本发明实施例的步骤S1的模型生成过程实现了模板库模块的模块化服务，通过模板库调用封装好的数据预处理、特征工程、模式结构等方法，构造基础的机器学习模型，本发明中的模板库模块实现了生成一个机器学习模型所有的所需功能；如图5中展示了模板库模块的时序图，基于此，本发明实施例的步骤S1具体为：

S11、文件导入：从本地选择Zepplin note格式的json文件，并更新模板库模块中的模板库列表；

S12、模型确定：确定需要新建的机器学习模型的类型和模型信息，并在Zepplinweb页面中根据模型类型和模型信息生成一个新的note；

S13、模型构造：对形成的新的note进行解释器绑定和paragraphs代码编写，将其保存至模板库模块中并根据模板库列表，完成基础机器学习模型的构造。

在上述模型构造过程中，还包括对模板库列表中的模型进行修改或删除；

其中，对模型修改的方法具体为：进入Zeppelin web对应note，进行对应的配置和代码修改并更新模板库列表；

对模型删除的方法具体为：在模板库列表中直接删除对应的模型并更新模板库列表。

另外，还可以通过搜索模型名称、在模型内容中查找关键字，通过关键字筛选来更新模板库列表。

本发明实施例的步骤S2实现了训练模型的模块化服务，通过训练模块模型，选择模板库中的方法构成代码块或编辑修改新的功能代码形成可执行的模型，通过模块的传参运行等服务来执行模型。本实施例中的训练模型模块实现了一个模型的所有功能，将模型生成和模型执行过程衔接在一起。

本发明实施例的步骤S3中通过训练模型模块修改传入的参数来控制超参数等调优方法改变损失函数、优化函数等进行模型调优。

如图6，展示了本实施例中的模型训练模块的时序图；基于模型训练模型，上述步骤S2中，通过训练模型模块传参运行机器学习模型的方法具体为：

A1、通过restful API将机器学习模型的note ID传到Zeppelin；

A2、在Zeppelin中，通过note运行机制并引入模型参数实现机器学习模型传参运行；

其中，note运行机制为通过解释器解析note中的paragraph的text属性的值来运行机器学习模型的note；

其中，引入模型参数的方法为：

在运行机器学习模型时，根据设置的模型参数来确定传递信息，用设置的参数值替代原text中的对应参数值，实现传参运行。

基于图6的训练模型模块时序图，除了训练模型模块进行模型运行的过程外，训练模型模块还可以执行下述过程：

(1)导入模型：选择本地Zeppelin note格式的json文件，若导入成功，更新模型列表；

(2)模型参数设置：可以通过设置参数名和参数类型，给模型设置多各参数。也可以修改、删除模型已有的参数，设置保存更新模型信息；

(3)模型修改、删除：对列表中存在的模型进行修改和删除；选择修改，进入Zeppelin web的对应note，进行各项配置和代码修改后保存返回训练模型列表，更新列表；选择删除，直接删除该模型，更新训练模型列表；

(4)导出模型：导出模型：将模型导出为Zeppelin note格式的json文件，便于保存和重复使用。

(5)部署上线：将训练好的模型部署上线，模型出现在上线模型模块，用于直接调用，提供推断服务。此时，模型状态从train变为deploy。

本实施例的步骤S4中进行模型部署的上线模块的时序图如图7所示，其中对封装部署好的机器学习模型进行模型运行的方法具体为：

B1、通过restful API将机器学习模型的note ID传到Zeppelin；

B2、在Zeppelin通过note运行机制运行机器学习模型；

B3、将机器学习模型的运行结果返回至web，并在web UI中展示出对应的模型推断服务结果。

另外，在上线模块中还可进行模型删除(选择删除，直接删除该模型，更新模板库列表)和搜索模型(在模型名称、模型内容中查找关键字，通过关键字筛选更新上线模型列表)。

本发明的有益效果为：

(1)重复性工作多的问题得到解决：本发明实现了模板库的模块化服务，将常用的一些方法、损失函数、模型结构、优化函数等进一步封装，形成模块化的模板库，开发人员可以通过模板库直接调用常用的方法，增强了代码的复用性，提高了开发效率。

(2)采用科学系统的方法管理模型开发，缩短了开发周期：本发明提出了一种机器学习模型生命周期的综合管理方法，并实现可视化、易操作的完整系统，使模型开发能在系统上高效、井然有序的进行；本发明系统的管理模型开发的整个流程，实现各阶段的无缝衔接，缩短了模型开发周期。

(3)提供了多种开发语言的编译解释环境，提高了模型的语言泛化能力，使模型开发更方便快捷：本发明基于Apache Zeppelin源码进行二次开发，支持Python、Spark、R、Angular、Markdown等语言的编译开发，开发更多Zeppelin的调用接口，实现更多所需场景的调用。

(4)大数据的存储和管理问题得到解决：本发明通过搭建Hadoop分布式框架，利用分布式文件系统(HDFS)进行大数据的处理与存储，服务器通过接口与HDFS进行数据交互，节约数据的存储空间，有利于数据的再利用。

Claims (9)

1.一种机器学习模型生命周期管理系统，其特征在于，包括依次连接的模板库模块、训练模型模块和上线模块；

所述模板库模块用于实现模板导入、模板新建、模板修改、模板删除和模板搜索；

所述训练模型模块用于实现导入模型、从模板库新建模型、模型传参运行、导出模型、修改模型和上线模型；

所述上线模块用于实现模型运行、模型删除和模型搜索。

2.根据权利要求1所述的机器学习模型生命周期管理系统，其特征在于，所述机器学习模型生命周期管理系统用于对机器学习模型进行生命周期管理；

所述机器学习模型对应于Zepplin中的note，且所述机器学习模型的代码存储于每个paragraph的text属性中；

所述Zeppelin中的一个note包含至少一个paragraph，所述paragraph为Zepplin中的最小运行单元，且每个所述paragraph为一个代码段；

所述Zeppelin单独运行一个paragraph或运行对应的整个note，且当运行note时，note中的paragraph按顺序运行，并继承上下文关系。

3.一种机器学习模型生命周期管理方法，其特征在于，包括以下步骤：

S1、模型生成：通过模板库模块调用封装好的数据预处理方法、特征工程方法和模式结构，构造对应的基础机器学习模型；

S2、模型执行：通过训练模型模块选择模板库模块中存储的方法构成代码块或编辑修改新的功能代码，将基础机器学习模型形成可执行的机器学习模型，并通过训练模型模块传参运行机器学习模型；

S3、模型优化：通过训练模型模块修改传入的参数来进行超参数优化或改变机器学习模型的网络结构、损失函数及梯度下降算法，实现对机器学习模型的调优进而形成训练好的机器学习模型，并传输至上线模块中；

S4、模型部署：将训练好的机器学习模型封装部署为上线模型并进行模型运行，提供模型推断服务，实现机器学习模型生命周期管理。

4.根据权利要求3所述的机器学习模型生命周期管理方法，其特征在于，在机器学习模型的生命周期管理中，通过引入模型状态机制来表示机器学习模型在不同阶段时的状态；

其中，步骤S1中构造的基础机器学习模型的状态为template；

步骤S2中模型生成过程中的形成的可执行的机器学习模型和步骤S3模型优化过程中的训练好的机器学习模型的状态均为train；

步骤S4中的模型部署过程中部署封装好的机器学习模型的状态为deploy。

5.根据权利要求3所述的机器学习模型生命周期管理方法，其特征在于，所述步骤S1具体为：

S11、文件导入：从本地选择Zepplin note格式的json文件，并更新模板库模块中的模板库列表；

S12、模型确定：确定需要新建的机器学习模型的类型和模型信息，并在Zepplin web页面中根据模型类型和模型信息生成一个新的note；

S13、模型构造：对形成的新的note进行解释器绑定和paragraphs代码编写，将其保存至模板库模块中并更新模板库列表，完成基础机器学习模型的构造。

6.根据权利要求5所述的机器学习模型生命周期管理方法，其特征在于，所述步骤S1中，在模型构造过程中，还包括对模板库列表中的模型进行修改或删除；

其中，对模型修改的方法具体为：进入Zeppelin web对应note，进行对应的配置和代码修改并更新模板库列表；

对模型删除的方法具体为：在模板库列表中直接删除对应的模型并更新模板库列表。

7.根据权利要求3所述的机器学习模型生命周期管理方法，其特征在于，所述步骤S2中，通过训练模型模块传参运行机器学习模型的方法具体为：

A1、通过restful API将机器学习模型的note ID传到Zeppelin；

A2、在Zeppelin中，通过note运行机制并引入模型参数实现机器学习模型传参运行；

其中，note运行机制为通过解释器解析note中的paragraph的text属性的值来运行机器学习模型的note。

8.根据权利要求7所述的机器学习模型生命周期管理方法，其特征在于，所述步骤A2中，引入模型参数的方法为：

在运行机器学习模型时，根据设置的模型参数来确定传递信息，用设置的参数值替代原text中的对应参数值，实现传参运行。

9.根据权利要求3所述的机器学习模型生命周期管理方法，其特征在于，所述步骤S4中对封装部署好的机器学习模型进行模型运行的方法具体为：

B1、通过restful API将机器学习模型的note ID传到Zeppelin；

B2、在Zeppelin通过note运行机制运行机器学习模型；

B3、将机器学习模型的运行结果返回至web，并在web UI中展示出对应的模型推断服务结果。

Images