CN114003248B - 一种模型管理方法、装置、电子设备及存储介质 - Google Patents
一种模型管理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114003248B CN114003248B CN202111272331.7A CN202111272331A CN114003248B CN 114003248 B CN114003248 B CN 114003248B CN 202111272331 A CN202111272331 A CN 202111272331A CN 114003248 B CN114003248 B CN 114003248B
- Authority
- CN
- China
- Prior art keywords
- model
- file
- execution
- execution logic
- stored
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/60—Software deployment
- G06F8/61—Installation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/362—Software debugging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/60—Software deployment
- G06F8/65—Updates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/70—Software maintenance or management
- G06F8/71—Version control; Configuration management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Stored Programmes (AREA)
Abstract
本申请提供了一种模型管理方法、装置、电子设备及存储介质，属于计算机技术领域。本申请通过获取待部署的第一模型；对所述第一模型进行标准化处理，得到所述第一模型对应的标准文件，其中，所述标准文件包括输入格式文件、扩展对象文件及模型文件，所述输入格式文件用于存储所述第一模型对应的配置数据，所述扩展对象文件用于存储所述第一模型对应的第一执行逻辑，所述模型文件用于存储所述第一模型对应的第一执行文件；基于所述输入格式文件中存储的配置数据、所述扩展对象文件中存储的第一执行逻辑和所述模型文件中存储的第一执行文件，部署所述第一模型。从而使部署模型的平台可以兼容各种框架和上线方式。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种模型管理方法、装置、电子设备及存储介质。
背景技术
人工智能：即Artificial Intelligence，简称AI，其为通过计算机系统模拟人类智能的方法、技术、软硬件及系统的泛称。实现AI模型的框架有多种，例如，tensorflow、pytorch、caffe、sklearn、keras及xgboost等，这些框架有各自不同的特性，适用于不同情况。并且，AI模型上线方式也有多种，如可视化模型上线、notebook建模及手动上传模型上线等。
目前，大多用于部署AI模型的平台，只能部署固定框架和固定上线方式的AI模型，无法兼容多种框架和多种上线方式。
发明内容
本申请实施例的目的在于提供一种模型管理方法、装置、电子设备及存储介质，以解决目前部署AI模型的平台无法兼容多种框架和多种上线方式的问题。具体技术方案如下：
第一方面，提供了一种模型管理方法，所述方法包括：
获取待部署的第一模型；
对所述第一模型进行标准化处理，得到所述第一模型对应的标准文件，其中，所述标准文件包括输入格式文件、扩展对象文件及模型文件，所述输入格式文件用于存储所述第一模型对应的配置数据，所述扩展对象文件用于存储所述第一模型对应的第一执行逻辑，所述模型文件用于存储所述第一模型对应的第一执行文件；
基于所述输入格式文件中存储的配置数据、所述扩展对象文件中存储的第一执行逻辑和所述模型文件中存储的第一执行文件，部署所述第一模型。
可选地，所述基于所述输入格式文件中存储的配置数据、所述扩展对象文件中存储的第一执行逻辑和所述模型文件中存储的第一执行文件，部署所述第一模型，包括：
基于所述输入格式文件中存储的配置数据，将所述第一模型配置到运行服务器上，完成所述第一模型的发布；
基于所述扩展对象文件中存储的第一执行逻辑和所述模型文件中存储的第一执行文件，构建全流程管道；
在所述运行服务器上，基于所述全流程管道运行所述第一模型。
可选地，所述方法还包括：
在运行所述第一模型时，监控所述第一模型的运行过程，得到所述第一模型对应的监控数据；
基于所述监控数据，确定所述第一模型的运行情况；
在所述运行情况符合预设第一条件时，确定所述第一模型对应的初始调度参数，基于所述运行情况和所述初始调度参数确定所述第一模型对应的目标调度参数；
按照所述目标调度参数调度所述第一模型。
可选地，所述方法还包括：
基于所述监控数据生成所述第一模型的分析数据；
基于所述监控数据和所述分析数据，生成所述第一模型对应的分析报告；
将所述分析报告发送至预设第一显示端。
可选地，所述方法还包括：
在所述运行情况符合预设第二条件时，停止运行所述第一模型，并基于所述运行情况生成提示信息，所述提示信息中包括停止运行的原因；
向预设第二显示端发送所述提示信息。
可选地，所述方法还包括：
获取所述扩展对象文件中存储的第一执行逻辑；
将所述第一执行逻辑发送至预设第三显示端，以使所述预设第三显示端显示所述第一执行逻辑；
接收所述预设第三显示端返回的第二执行逻辑，其中，所述第二执行逻辑为在所述预设第三显示端利用编辑数据编辑所述第一执行逻辑得到；
基于所述第二执行逻辑生成第二执行文件，所述第二执行逻辑和所述第二执行文件对应的第二模型为所述第一模型的更新版本；
基于所述配置数据、所述第二执行逻辑和所述第二执行文件部署所述第二模型。
可选地，所述方法还包括：
获取运行所述第一模型得到的第一结果数据，以及，运行所述第二模型得到的第二结果数据；
基于所述第一结果数据和所述第二结果数据，确定所述第二模型相对于所述第一模型的更新效果；
基于所述编辑数据和所述更新效果，确定对所述第一模型更新的更新方向。
第二方面，提供了一种模型管理装置，所述装置包括：
模型编译模块，用于获取待部署的第一模型；用于对所述第一模型进行标准化处理，得到所述第一模型对应的标准文件，其中，所述标准文件包括输入格式文件、扩展对象文件及模型文件，所述输入格式文件用于存储所述第一模型对应的配置数据，所述扩展对象文件用于存储所述第一模型对应的第一执行逻辑，所述模型文件用于存储所述第一模型对应的第一执行文件；
模型部署模块，用于基于所述输入格式文件中存储的配置数据、所述扩展对象文件中存储的第一执行逻辑和所述模型文件中存储的第一执行文件，部署所述第一模型。
可选地，所述模型部署模块，具体用于：
基于所述输入格式文件中存储的配置数据，将所述第一模型配置到运行服务器上，完成所述第一模型的发布；
基于所述扩展对象文件中存储的第一执行逻辑和所述模型文件中存储的第一执行文件，构建全流程管道；
在所述运行服务器上，基于所述全流程管道运行所述第一模型。
可选地，所述装置还包括：
模型监控模块，用于在运行所述第一模型时，监控所述第一模型的运行过程，得到所述第一模型对应的监控数据；基于所述监控数据，确定所述第一模型的运行情况；在所述运行情况符合预设第一条件时，确定所述第一模型对应的初始调度参数，基于所述运行情况和所述初始调度参数确定所述第一模型对应的目标调度参数；
模型调度模块，用于按照所述目标调度参数调度所述第一模型。
可选地，所述模型监控模块，还用于：
基于所述监控数据生成所述第一模型的分析数据；
基于所述监控数据和所述分析数据，生成所述第一模型对应的分析报告；
将所述分析报告发送至预设第一显示端。
可选地，所述模型调度模块，还用于：
在所述运行情况符合预设第二条件时，停止运行所述第一模型，并基于所述运行情况生成提示信息，所述提示信息中包括停止运行的原因；
向预设第二显示端发送所述提示信息。
可选地，所述模型部署模块，还用于：
获取所述扩展对象文件中存储的第一执行逻辑；
将所述第一执行逻辑发送至预设第三显示端，以使所述预设第三显示端显示所述第一执行逻辑；
接收所述预设第三显示端返回的第二执行逻辑，其中，所述第二执行逻辑为在所述预设第三显示端利用编辑数据编辑所述第一执行逻辑得到；
基于所述第二执行逻辑生成第二执行文件，所述第二执行逻辑和所述第二执行文件对应的第二模型为所述第一模型的更新版本；
基于所述配置数据、所述第二执行逻辑和所述第二执行文件部署所述第二模型。
可选地，所述模型部署模块，还用于：
获取运行所述第一模型得到的第一结果数据，以及，运行所述第二模型得到的第二结果数据；
基于所述第一结果数据和所述第二结果数据，确定所述第二模型相对于所述第一模型的更新效果；
基于所述编辑数据和所述更新效果，确定对所述第一模型更新的更新方向。
第三方面，提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现第一方面任一所述的方法步骤。
第四方面，提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面任一所述的方法步骤。
第五方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的模型管理方法。
本申请实施例有益效果：
本申请实施例提供了一种模型管理方法、装置、电子设备及存储介质，本申请通过，首先，获取待部署的第一模型；然后，对所述第一模型进行标准化处理，得到所述第一模型对应的标准文件，其中，所述标准文件包括输入格式文件、扩展对象文件及模型文件，所述输入格式文件用于存储所述第一模型对应的配置数据，所述扩展对象文件用于存储所述第一模型对应的第一执行逻辑，所述模型文件用于存储所述第一模型对应的第一执行文件；最后，基于所述输入格式文件中存储的配置数据、所述扩展对象文件中存储的第一执行逻辑和所述模型文件中存储的第一执行文件，部署所述第一模型。
也即，通过本申请，无论模型是以哪种框架实现或者以哪种方式上线，均可以将模型二进制序列化为标准文件，进而通过标准文件部署模型，从而使部署模型的平台可以兼容各种框架和上线方式。
当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种模型管理方法的流程图；
图2为本申请另一实施例提供的一种模型管理方法的流程图；
图3为本申请另一实施例提供的一种模型管理方法的流程图；
图4为本申请另一实施例提供的一种模型管理方法的流程图；
图5为本申请另一实施例提供的一种模型管理方法的流程图；
图6为本申请另一实施例提供的一种模型管理方法的流程图；
图7为本申请实施例提供的一种模型管理装置的结构示意图；
图8为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
由于，目前大多用于部署AI模型的平台，只能部署固定框架和固定上线方式的AI模型，无法兼容多种框架和多种上线方式。为此，本申请实施例提供了一种模型管理方法，可以应用于部署模型的平台。
下面将结合具体实施方式，对本申请实施例提供的一种模型管理方法进行详细的说明，如图1所示，具体步骤如下：
S101，获取待部署的第一模型。
本申请实施例提供的模型管理方法可以应用于部署模型的平台，该实施例中，第一模型可以是任一框架(例如：tensorflow、pytorch、caffe、sklearn、keras或xgboost等)和任一建模方式(例如：可视化建模、notebook(编辑工具)建模或手动上传模型等)实现的。其中，平台默认输入的第一模型是已经训练完成可编译的，否则报错，上线失败。
S102，对所述第一模型进行标准化处理，得到所述第一模型对应的标准文件，其中，所述标准文件包括输入格式文件、扩展对象文件及模型文件，所述输入格式文件用于存储所述第一模型对应的配置数据，所述扩展对象文件用于存储所述第一模型对应的第一执行逻辑，所述模型文件用于存储所述第一模型对应的第一执行文件。
在本申请实施例中，为了使平台可以兼容各种框架和各种建模方式实现的模型，对第一模型进行标准化处理，得到标准文件，该标准化处理可以包括但不限于：二进制序列化或持久化。
其中，标准文件包括输入格式文件(conda.yaml)、扩展对象文件(MLmodel)及模型文件(python_model.pkl)。
输入格式文件：用于存储第一模型对应的配置数据，即，模型运行的python环境，包括配置参数和环境参数。
扩展对象文件：用于存储第一模型对应的第一执行逻辑，即，模型代码，包括但不限于预处理、预测、加载等相关代码。
模型文件：用于存储第一模型对应的第一执行文件，即，统一格式后的、机器执行的底层文件。
即，将模型转换为标准pyfunc风格的模型函数，统一为一个MLmodel文件(其中包含模型运行环境、处理流程(预处理、后处理、预测和加载流程等)和模型文件)。将各种各样的模型转化为基础的二进制代码保存，整理为统一的格式，并使其能通过全流程管道(pipline)重新加载回去。
S103，基于所述输入格式文件中存储的配置数据、所述扩展对象文件中存储的第一执行逻辑和所述模型文件中存储的第一执行文件，部署所述第一模型。
在本申请实施例中，配置数据用于配置第一模型的运行环境，第一执行逻辑和第一执行文件用于运行第一模型，因此，可以基于输入格式文件中存储的配置数据、扩展对象文件中存储的第一执行逻辑和模型文件中存储的第一执行文件，部署第一模型。
本申请实施例中，无论模型是以哪种框架实现或者以哪种方式上线，均可以将模型二进制序列化为标准文件，进而通过标准文件部署模型，从而使部署模型的平台可以兼容各种框架和上线方式。
在本申请又一实施例中，如图2所示，所述S103，具体可以包括以下步骤：
S201，基于所述输入格式文件中存储的配置数据，将所述第一模型配置到运行服务器上，完成所述第一模型的发布；
S202，基于所述扩展对象文件中存储的第一执行逻辑和所述模型文件中存储的第一执行文件，构建全流程管道；
S203，在所述运行服务器上，基于所述全流程管道运行所述第一模型。
在本申请实施例中，运行服务器为平台用于运行模型的服务器，发布第一模型时，可以根据输入格式文件中存储的配置数据自动配置服务器、端口号、运行环境和负载均衡等，也可以进行手动更改，从而将第一模型正式上线并配置到运行服务器上。
进一步地，基于扩展对象文件中存储的第一执行逻辑和模型文件中存储的第一执行文件，构建全流程管道(包括数据预处理、特征工程、模型和数据后处理等)，在运行服务器上，基于全流程管道运行第一模型，即，开始提供部署的第一模型的服务——输入数据之后返回第一模型预测分数/结果。
本申请实施例中，可以基于标准文件自动部署第一模型，无需人为部署，提高了模型部署的效率。
在本申请又一实施例中，如图3所示，所述方法还可以包括以下步骤：
S301，在运行所述第一模型时，监控所述第一模型的运行过程，得到所述第一模型对应的监控数据；
S302，基于所述监控数据，确定所述第一模型的运行情况；
S303，在所述运行情况符合预设第一条件时，确定所述第一模型对应的初始调度参数，基于所述运行情况和所述初始调度参数确定所述第一模型对应的目标调度参数；
S304，按照所述目标调度参数调度所述第一模型。
在本申请实施例中，运行模型，可以包括但不限于模型试跑、模型预测及模型跑批。其中，模型试跑：当模型(或修改后)第一次启动时，试跑一下进行测试，确定模型是否能够正常输出(输入测试数据看结果与预期是否一致)；模型预测：正常的模型服务，完成正常的模型预测功能；模型跑批：批量化的进行模型预测。
监控数据可以包括但不限于服务监控数据、服务日志数据、操作日志数据，具体的，服务监控数据：实时监控模型的调度量、调度耗时、失败率、资源占用状况；服务日志：模型每次调度的日志情况；操作日志：从第一次启动开始对模型的操作情况，即模型的启停、试跑、跑批情况。
平台中一般预置了初始调度参数，用于指示对第一模型的调度操作，初始调度参数可以是人为设置的，也可以是根据模型的优先级和历史运行状况生成的，通过目标调度参数指示第一模型与平台中所有其他模型配合工作，使每个模型在约定时间内完成各自的任务，多个模型的运行可以是串行或并行等。
进一步地，在运行第一模型时，可以实时监控第一模型的运行过程，得到对应的监控数据，基于监控数据，可以确定第一模型的运行情况，运行情况例如资源占用较高、调用耗时正常或调用失败率较低等，在运行情况符合预设第一条件时，表示按照当前的调度参数调度第一模型效果不好，此时，可以基于运行情况对初始调度参数进行调整，得到目标调度参数。其中，预设第一条件可以是针对某一项或某几项监控数据设置的，例如调用失败率高于阈值时，确定运行情况符合预设第一条件。进而，按照调整后的目标调度参数调度第一模型，从而改善平台运行模型的效果。
本申请实施例中，可以监控第一模型的运行过程，得到第一模型对应的监控数据，并通过监控数据自动调整调度参数，从而改善平台运行模型的效果，无需人为修改参数，提高了平台维护的效率。
在本申请又一实施例中，如图4所示，所述方法还可以包括以下步骤：
S401，基于所述监控数据生成所述第一模型的分析数据；
S402，基于所述监控数据和所述分析数据，生成所述第一模型对应的分析报告；
S403，将所述分析报告发送至预设第一显示端。
在本申请实施例中，可以按照时间段和数据类型的划分对监控数据进行整理，例如汇总每日使用模型的状况、模型预测的状况，对每日模型预测结果的分析及与之前结果的对比分析等，得到第一模型的分析数据。进而，根据监控数据和分析数据生成分析报告并将分析报告发送至预设第一显示端，方便维护人员查看。
在本申请又一实施例中，所述方法还可以包括以下步骤：
步骤一，在所述运行情况符合预设第二条件时，停止运行所述第一模型，并基于所述运行情况生成提示信息，所述提示信息中包括停止运行的原因；
步骤二，向预设第二显示端发送所述提示信息。
在本申请实施例中，还可以基于监控数据提供模型监控告警服务，具体的，在运行情况符合预设第二条件时，停止运行第一模型，并基于运行情况生成提示信息，提示信息中可以包括但不限于停止运行的原因，向预设第二显示端发送提示信息。其中，预设第二条件可以是针对某一项或某几项监控数据设置的，例如，当模型的调用量超过阈值时，确定运行情况符合预设第二条件。通过本方案可以根据监控数据自动停止运行模型并向工作人员告警，避免造成损失。
在本申请又一实施例中，如图5所示，所述方法还可以包括以下步骤：
S501，获取所述扩展对象文件中存储的第一执行逻辑；
S502，将所述第一执行逻辑发送至预设第三显示端，以使所述预设第三显示端显示所述第一执行逻辑；
S503，接收所述预设第三显示端返回的第二执行逻辑，其中，所述第二执行逻辑为在所述预设第三显示端利用编辑数据编辑所述第一执行逻辑得到；
S504，基于所述第二执行逻辑生成第二执行文件，所述第二执行逻辑和所述第二执行文件对应的第二模型为所述第一模型的更新版本；
S505，基于所述配置数据、所述第二执行逻辑和所述第二执行文件部署所述第二模型。
在本申请实施例中，第一执行逻辑为可读的推理逻辑，其包括数据预处理逻辑和预测逻辑两部分。将扩展对象文件中存储的第一执行逻辑提取出来，并发送至预设第三显示端进行展示，让工作人员能够查看并修改第一模型的具体执行逻辑。工作人员修改完成后，通过第三显示端返回修改后得到的第二执行逻辑，将第二执行逻辑转译为一个新的第二执行文件。此时，由第一模型对应的配置数据、工作人员修改后的第二执行逻辑以及由第二执行逻辑转译的第二执行文件，形成相对于第一模型的更新版本第二模型。进而按照前述部署方式，基于配置数据、第二执行逻辑和第二执行文件部署第二模型。
本申请实施例中，通过将执行逻辑发送至显示端方便工作人员查看和修改，并且，可以根据修改后的执行逻辑自动生成第一模型的更新版本，即，可以根据已有模型的执行逻辑得到其优化模型，而无需重新训练得到已有模型的优化模型，从而提高模型优化的效率。
在本申请又一实施例中，如图6所示，所述方法还可以包括以下步骤：
S601，获取运行所述第一模型得到的第一结果数据，以及，运行所述第二模型得到的第二结果数据；
S602，基于所述第一结果数据和所述第二结果数据，确定所述第二模型相对于所述第一模型的更新效果；
S603，基于所述编辑数据和所述更新效果，确定对所述第一模型更新的更新方向。
在本申请实施例中，可以同时运行第一模型和第二模型，即，将相同的输入数据输入两个模型中：第一模型生成结果A，第二模型生成结果B，当下平台还可以以第一模型的结果A作为输出，第二模型的结果B用于与结果A进行比对，从而验证第二模型相对于第一模型的更新效果(即优化效果)，进而，根据编辑数据和更新效果确定第一模型的优化方向，从而实现版本交互功能。通过本方案可以简化迭代优化模型的流程，提高模型优化的效率。
基于相同的技术构思，本申请实施例还提供了一种模型管理装置，如图7所示，该装置包括：
模型编译模块，用于获取待部署的第一模型；用于对所述第一模型进行标准化处理，得到所述第一模型对应的标准文件，其中，所述标准文件包括输入格式文件、扩展对象文件及模型文件，所述输入格式文件用于存储所述第一模型对应的配置数据，所述扩展对象文件用于存储所述第一模型对应的第一执行逻辑，所述模型文件用于存储所述第一模型对应的第一执行文件；
模型部署模块，用于基于所述输入格式文件中存储的配置数据、所述扩展对象文件中存储的第一执行逻辑和所述模型文件中存储的第一执行文件，部署所述第一模型。
可选地，所述模型部署模块，具体用于：
基于所述输入格式文件中存储的配置数据，将所述第一模型配置到运行服务器上，完成所述第一模型的发布；
基于所述扩展对象文件中存储的第一执行逻辑和所述模型文件中存储的第一执行文件，构建全流程管道；
在所述运行服务器上，基于所述全流程管道运行所述第一模型。
可选地，所述装置还包括：
模型监控模块，用于在运行所述第一模型时，监控所述第一模型的运行过程，得到所述第一模型对应的监控数据；基于所述监控数据，确定所述第一模型的运行情况；在所述运行情况符合预设第一条件时，确定所述第一模型对应的初始调度参数，基于所述运行情况和所述初始调度参数确定所述第一模型对应的目标调度参数；
模型调度模块，用于按照所述目标调度参数调度所述第一模型。
可选地，所述模型监控模块，还用于：
基于所述监控数据生成所述第一模型的分析数据；
基于所述监控数据和所述分析数据，生成所述第一模型对应的分析报告；
将所述分析报告发送至预设第一显示端。
可选地，所述模型调度模块，还用于：
在所述运行情况符合预设第二条件时，停止运行所述第一模型，并基于所述运行情况生成提示信息，所述提示信息中包括停止运行的原因；
向预设第二显示端发送所述提示信息。
可选地，所述模型部署模块，还用于：
获取所述扩展对象文件中存储的第一执行逻辑；
将所述第一执行逻辑发送至预设第三显示端，以使所述预设第三显示端显示所述第一执行逻辑；
接收所述预设第三显示端返回的第二执行逻辑，其中，所述第二执行逻辑为在所述预设第三显示端利用编辑数据编辑所述第一执行逻辑得到；
基于所述第二执行逻辑生成第二执行文件，所述第二执行逻辑和所述第二执行文件对应的第二模型为所述第一模型的更新版本；
基于所述配置数据、所述第二执行逻辑和所述第二执行文件部署所述第二模型。
可选地，所述模型部署模块，还用于：
获取运行所述第一模型得到的第一结果数据，以及，运行所述第二模型得到的第二结果数据；
基于所述第一结果数据和所述第二结果数据，确定所述第二模型相对于所述第一模型的更新效果；
基于所述编辑数据和所述更新效果，确定对所述第一模型更新的更新方向。
本申请实施例中，无论模型是以哪种框架实现或者以哪种方式上线，均可以将模型二进制序列化为标准文件，进而通过标准文件部署模型，从而使部署模型的平台可以兼容各种框架和上线方式。
基于相同的技术构思，本申请实施例还提供了一种电子设备，如图8所示，包括处理器111、通信接口112、存储器113和通信总线114，其中，处理器111，通信接口112，存储器113通过通信总线114完成相互间的通信，
存储器113，用于存放计算机程序；
处理器111，用于执行存储器113上所存放的程序时，实现如下步骤：
获取待部署的第一模型；
对所述第一模型进行标准化处理，得到所述第一模型对应的标准文件，其中，所述标准文件包括输入格式文件、扩展对象文件及模型文件，所述输入格式文件用于存储所述第一模型对应的配置数据，所述扩展对象文件用于存储所述第一模型对应的第一执行逻辑，所述模型文件用于存储所述第一模型对应的第一执行文件；
基于所述输入格式文件中存储的配置数据、所述扩展对象文件中存储的第一执行逻辑和所述模型文件中存储的第一执行文件，部署所述第一模型。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一模型管理方法的步骤。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一模型管理方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种模型管理方法，其特征在于，所述方法包括：
获取待部署的第一模型；
对所述第一模型进行标准化处理，得到所述第一模型对应的标准文件，其中，所述标准文件包括输入格式文件、扩展对象文件及模型文件，所述输入格式文件用于存储所述第一模型对应的配置数据，所述扩展对象文件用于存储所述第一模型对应的第一执行逻辑，所述模型文件用于存储所述第一模型对应的第一执行文件；
基于所述输入格式文件中存储的配置数据、所述扩展对象文件中存储的第一执行逻辑和所述模型文件中存储的第一执行文件，部署所述第一模型；
其中，所述基于所述输入格式文件中存储的配置数据、所述扩展对象文件中存储的第一执行逻辑和所述模型文件中存储的第一执行文件，部署所述第一模型，包括：
基于所述输入格式文件中存储的配置数据，将所述第一模型配置到运行服务器上，完成所述第一模型的发布；
基于所述扩展对象文件中存储的第一执行逻辑和所述模型文件中存储的第一执行文件，构建全流程管道；
在所述运行服务器上，基于所述全流程管道运行所述第一模型；
其中，所述方法还包括：
将所述第一执行逻辑发送至预设第三显示端，以使所述预设第三显示端显示所述第一执行逻辑；
接收所述预设第三显示端返回的第二执行逻辑，其中，所述第二执行逻辑为在所述预设第三显示端利用编辑数据编辑所述第一执行逻辑得到；
基于所述第二执行逻辑生成第二执行文件，所述第二执行逻辑和所述第二执行文件对应的第二模型为所述第一模型的更新版本；
基于所述配置数据、所述第二执行逻辑和所述第二执行文件部署所述第二模型。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在运行所述第一模型时，监控所述第一模型的运行过程，得到所述第一模型对应的监控数据；
基于所述监控数据，确定所述第一模型的运行情况；
在所述运行情况符合预设第一条件时，确定所述第一模型对应的初始调度参数，基于所述运行情况和所述初始调度参数确定所述第一模型对应的目标调度参数；
按照所述目标调度参数调度所述第一模型。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
基于所述监控数据生成所述第一模型的分析数据；
基于所述监控数据和所述分析数据，生成所述第一模型对应的分析报告；
将所述分析报告发送至预设第一显示端。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
在所述运行情况符合预设第二条件时，停止运行所述第一模型，并基于所述运行情况生成提示信息，所述提示信息中包括停止运行的原因；
向预设第二显示端发送所述提示信息。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取运行所述第一模型得到的第一结果数据，以及，运行所述第二模型得到的第二结果数据；
基于所述第一结果数据和所述第二结果数据，确定所述第二模型相对于所述第一模型的更新效果；
基于所述编辑数据和所述更新效果，确定对所述第一模型更新的更新方向。
6.一种模型管理装置，其特征在于，所述装置包括：
模型编译模块，用于获取待部署的第一模型；用于对所述第一模型进行标准化处理，得到所述第一模型对应的标准文件，其中，所述标准文件包括输入格式文件、扩展对象文件及模型文件，所述输入格式文件用于存储所述第一模型对应的配置数据，所述扩展对象文件用于存储所述第一模型对应的第一执行逻辑，所述模型文件用于存储所述第一模型对应的第一执行文件；
模型部署模块，用于基于所述输入格式文件中存储的配置数据、所述扩展对象文件中存储的第一执行逻辑和所述模型文件中存储的第一执行文件，部署所述第一模型；
其中，所述模型部署模块，具体用于：
基于所述输入格式文件中存储的配置数据，将所述第一模型配置到运行服务器上，完成所述第一模型的发布；
基于所述扩展对象文件中存储的第一执行逻辑和所述模型文件中存储的第一执行文件，构建全流程管道；
在所述运行服务器上，基于所述全流程管道运行所述第一模型；
其中，所述模型部署模块，还用于：
将所述第一执行逻辑发送至预设第三显示端，以使所述预设第三显示端显示所述第一执行逻辑；
接收所述预设第三显示端返回的第二执行逻辑，其中，所述第二执行逻辑为在所述预设第三显示端利用编辑数据编辑所述第一执行逻辑得到；
基于所述第二执行逻辑生成第二执行文件，所述第二执行逻辑和所述第二执行文件对应的第二模型为所述第一模型的更新版本；
基于所述配置数据、所述第二执行逻辑和所述第二执行文件部署所述第二模型。
7.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111272331.7A CN114003248B (zh) | 2021-10-29 | 2021-10-29 | 一种模型管理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111272331.7A CN114003248B (zh) | 2021-10-29 | 2021-10-29 | 一种模型管理方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114003248A CN114003248A (zh) | 2022-02-01 |
| CN114003248B true CN114003248B (zh) | 2022-11-25 |
Family
ID=79925103
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111272331.7A Active CN114003248B (zh) | 2021-10-29 | 2021-10-29 | 一种模型管理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114003248B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110780914A (zh) * | 2018-07-31 | 2020-02-11 | 中国移动通信集团浙江有限公司 | 服务发布方法及装置 |
| US10812326B1 (en) * | 2019-08-01 | 2020-10-20 | EMC IP Holding Company LLC | Method and system for data fabric automated configuration for internet of things devices |
| CN112085217A (zh) * | 2020-09-08 | 2020-12-15 | 中国平安人寿保险股份有限公司 | 部署人工智能服务的方法、装置、设备及计算机介质 |
-
2021
- 2021-10-29 CN CN202111272331.7A patent/CN114003248B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110780914A (zh) * | 2018-07-31 | 2020-02-11 | 中国移动通信集团浙江有限公司 | 服务发布方法及装置 |
| US10812326B1 (en) * | 2019-08-01 | 2020-10-20 | EMC IP Holding Company LLC | Method and system for data fabric automated configuration for internet of things devices |
| CN112085217A (zh) * | 2020-09-08 | 2020-12-15 | 中国平安人寿保险股份有限公司 | 部署人工智能服务的方法、装置、设备及计算机介质 |
Non-Patent Citations (2)
| Title |
|---|
| "基于机器学习的水电趋势预警系统设计";刘云久等;《水电站机电技术》;20210315;第44卷(第3期);第11-13、19、119页 * |
| "机器学习模型部署—PMML";阿黎逸阳;《CSDN，https://blog.csdn.net/qq_32532663/article/details/107714050》;20200803;第1-9页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114003248A (zh) | 2022-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110188135B (zh) | 文件生成方法及设备 | |
| US20130339933A1 (en) | Systems and methods for quality assurance automation | |
| CN110007921B (zh) | 一种代码发布方法及装置 | |
| CN111694677A (zh) | 消息队列的管理方法、装置、终端和计算机可读存储介质 | |
| CN114911492A (zh) | 推理服务部署方法、装置、设备以及存储介质 | |
| CN111414348A (zh) | 数据库实例参数的修改方法和装置 | |
| CN114003248B (zh) | 一种模型管理方法、装置、电子设备及存储介质 | |
| CN115471215B (zh) | 一种业务流程处理方法及装置 | |
| CN111475186A (zh) | 一种基于bmc的固件升级方法、装置、设备及介质 | |
| CN114697398B (zh) | 数据处理方法、装置、电子设备、存储介质及产品 | |
| CN114546425A (zh) | 模型部署方法、装置、电子设备及存储介质 | |
| EP3999917B1 (en) | Method and system for generating a digital representation of asset information in a cloud computing environment | |
| CN112764729A (zh) | 应用软件开发方法、装置、计算机设备及可读存储介质 | |
| CN112579402A (zh) | 一种应用系统故障定位的方法和装置 | |
| CN112035368A (zh) | 自动化软件测试方法、装置、电子设备、存储介质 | |
| CN110990209A (zh) | 存储稳定性的测试方法、测试装置、测试设备及存储介质 | |
| CN112950138B (zh) | 协同开发的状态管理方法、装置和服务器 | |
| CN111832735B (zh) | 基于模板来执行机器学习过程的方法和系统 | |
| CN113779098B (zh) | 数据处理方法、装置、电子设备以及存储介质 | |
| US20240160558A1 (en) | Automatic testing of interrelated components of a software application | |
| CN113127051B (zh) | 一种应用资源打包过程监控方法、装置、设备和介质 | |
| CN112529590B (zh) | 服务信息生成方法、装置、电子设备及存储介质 | |
| CN116909649A (zh) | 一种规范标准规则的可视化配置方法、装置及设备 | |
| CN118093368A (zh) | 一种数据质量检测方法、装置、电子设备及存储介质 | |
| CN115469882A (zh) | 软件项目管理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |