CN110688539A - 一种模型管理系统及方法 - Google Patents

Abstract

本发明提供一种模型管理系统及方法，该模型管理系统包括：接口模块，用于显示用户界面，并接收用户在所述用户界面上的管理操作；管理模块，用于响应于所述管理操作，对所述模型管理系统中各模型组成文件对应的模型进行管理；所述模型组成文件包括模型文件；所述模型管理系统支持多种模型文件格式。本发明的实施例，通过支持多种模型文件格式的模型管理系统，可以方便用户对模型进行多样管理，从而实现对模型的有效管理。

Description

一种模型管理系统及方法

技术领域

本发明涉及数据处理技术领域，尤其涉及一种模型管理系统及方法。

背景技术

目前，用于数据分析、图像识别等的模型越来越多。然而，如何对这些模型进行统一有效的管理，以便使用者更好的使用这些模型，是目前亟待解决的问题。

发明内容

本发明实施例提供一种模型管理系统及方法，以解决目前无法对模型进行有效管理的问题。

为了解决上述技术问题，本发明是这样实现的：

第一方面，本发明实施例提供了一种模型管理系统，包括：

接口模块，用于显示用户界面，并接收用户在所述用户界面上的管理操作；

管理模块，用于响应于所述管理操作，对所述模型管理系统中各模型组成文件对应的模型进行管理；

其中，所述模型组成文件包括模型文件；

所述模型管理系统支持多种模型文件格式。

可选的，所述管理操作包括：将第一模型的模型组成文件导入所述模型管理系统的导入操作；所述管理模块包括：

第一导入单元，用于响应于所述导入操作，将所述第一模型的模型组成文件导入到所述模型管理系统。

可选的，所述第一模型为包括至少两个子模型的复杂模型；

所述复杂模型的模型组成文件包括：所述复杂模型对应的控制文件以及每个所述子模型的模型文件，所述控制文件指示所述至少两个子模型之间的执行关系；

所述第一导入单元用于：响应于所述导入操作，将所述控制文件和每个所述子模型的模型文件导入到所述模型管理系统。

可选的，所述模型管理系统设置于数据分析系统中；所述管理操作包括：对第二模型的筛选条件的输入操作，所述第二模型为所述数据分析系统提供的模型；所述管理模块包括：

第二导入单元，用于响应于所述输入操作，将训练得到的且满足所述筛选条件的目标模型的模型组成文件导入到所述模型管理系统。

可选的，所述管理操作还包括：分组操作；所述管理模块还包括：

分组管理单元，用于响应于所述分组操作，将所述模型组成文件导入到所述模型管理系统中的目标模型组。

可选的，所述分组管理单元包括：

解析子单元，用于解析所述模型组成文件，得到所述模型组成文件对应的模型解析信息；

验证子单元，用于根据所述模型解析信息，验证所述模型组成文件对应的模型是否满足导入所述目标模型组的导入条件；

导入子单元，用于在满足所述导入条件的情况下，将所述模型组成文件导入到所述目标模型组。

可选的，所述管理操作包括：变量管理操作；

所述管理模块包括：获取单元，用于响应于所述变量管理操作，获取所述模型管理系统中的目标模型变量的变量信息；其中，所述变量信息包括特征变量信息和目标变量信息。

可选的，所述变量管理操作为对变量参数的输入操作；

所述获取单元用于：获取与所述变量参数对应的目标模型的变量信息；

或者，

所述变量管理操作为对所述目标模型对应的目标数据集的输入操作；

所述获取单元用于：基于所述目标数据集，获取所述目标模型的变量信息；

或者，

所述变量管理操作为对所述目标模型对应的目标文件集的输入操作；

所述获取单元用于：基于所述目标文件集，获取所述目标模型的变量信息；

或者，

所述变量管理操作为对自动推断变量方式的选择操作；

所述获取单元用于：基于所述目标模型的模型组成文件，获取所述目标模型的变量信息。

可选的，所述变量管理操作包括对复杂变量的管理操作，所述复杂变量是由一维或者多维数组组成的数据容器。

可选的，所述管理操作包括：模型评估操作；所述管理模块包括：

评估单元，用于响应于所述模型评估操作，对所述模型管理系统中的目标模型进行评估。

可选的，所述模型评估操作包括对已有评估工作流的选择操作；

所述评估单元用于：利用选择出的已有评估工作流，对所述目标模型进行评估；

或者，

所述模型评估操作包括对已有评估工作流的编辑操作；

所述评估单元用于：利用编辑后的已有评估工作流，对所述目标模型进行评估。

可选的，所述模型评估操作包括新建评估工作流的配置操作；

所述评估单元用于：响应于所述配置操作，获取用于新建评估工作流的配置信息，所述配置信息包括：数据集、模型应用算子、预测算子、评估算子；

根据所述配置信息，生成目标评估工作流；利用所述目标评估工作流，对所述目标模型进行评估。

可选的，所述管理操作还包括：模型发布操作；

所述管理模块还包括：发布单元，用于响应于所述模型发布操作，将评估后的且满足预设条件的模型发布为模型服务。

可选的，所述发布单元还用于：基于预设模型发布策略，筛选满足所述预设模型发布策略的目标模型，并将所述目标模型发布到所述预设模型发布策略中指定的模型服务中。

可选的，所述管理操作包括：监控操作；所述管理模块包括：

监控单元，用于响应于所述监控操作，监控所述模型管理系统中的模型变化情况，并统计所述模型管理系统中的模型，得到所述模型管理系统的模型管理信息；

第一显示单元，用于显示所述模型管理信息。

可选的，所述管理操作包括：订阅操作；

所述管理模块包括：订阅单元，用于响应于所述订阅操作，获取所述模型管理系统的模型变化信息，并将所述模型变化信息发送给第三方系统。

可选的，所述管理操作包括：展示操作；

所述管理模块包括：第二显示单元，用于响应于所述展示操作，对所述模型管理系统中的目标模型的模型信息进行显示。

可选的，所述管理操作包括：导出操作；

所述管理模块包括：导出单元，用于响应于所述导出操作，将所述模型管理系统中的目标模型和/或目标模型的模型信息导出。

第二方面，本发明实施例提供了一种模型管理方法，包括：

显示用户界面，并接收用户在所述用户界面上的管理操作；

响应于所述管理操作，对所述模型管理系统中各模型组成文件对应的模型进行管理；

其中，所述模型组成文件包括模型文件；

所述模型管理系统支持多种模型文件格式。

可选的，所述管理操作包括：将第一模型的模型组成文件导入所述模型管理系统的导入操作；

所述响应于所述管理操作，对所述模型管理系统中各模型组成文件对应的模型进行管理，包括：

响应于所述导入操作，将所述第一模型的模型组成文件导入到所述模型管理系统。

可选的，所述第一模型为包括至少两个子模型的复杂模型；

所述复杂模型的模型组成文件包括：所述复杂模型对应的控制文件以及每个所述子模型的模型文件，所述控制文件指示所述至少两个子模型之间的执行关系；

所述将所述第一模型的模型组成文件导入到所述模型管理系统，包括：

将所述控制文件和每个所述子模型的模型文件导入到所述模型管理系统。

可选的，所述模型管理系统设置于数据分析系统中；所述管理操作包括：对第二模型的筛选条件的输入操作，所述第二模型为所述数据分析系统提供的模型；

所述响应于所述管理操作，对所述模型管理系统中各模型组成文件对应的模型进行管理，包括：

响应于所述输入操作，将训练得到的且满足所述筛选条件的目标模型的模型组成文件导入到所述模型管理系统。

可选的，所述管理操作还包括：分组操作；

所述响应于所述管理操作，对所述模型管理系统中各模型组成文件对应的模型进行管理，还包括：

响应于所述分组操作，将所述模型组成文件导入到所述模型管理系统中的目标模型组。

可选的，所述将所述模型组成文件导入到所述模型管理系统中的目标模型组，包括：

解析所述模型组成文件，得到所述模型组成文件对应的模型解析信息；

根据所述模型解析信息，验证所述模型组成文件对应的模型是否满足导入所述目标模型组的导入条件；

在满足所述导入条件的情况下，将所述模型组成文件导入到所述目标模型组。

可选的，所述管理操作包括：变量管理操作；

所述响应于所述管理操作，对所述模型管理系统中各模型组成文件对应的模型进行管理，包括：

响应于所述变量管理操作，获取所述模型管理系统中的目标模型变量的变量信息；其中，所述变量信息包括特征变量信息和目标变量信息。

可选的，所述获取所述模型管理系统中的目标模型变量的变量信息，包括以下任意一项：

在所述变量管理操作为对变量参数的输入操作的情况下，获取与所述变量参数对应的目标模型的变量信息；

在所述变量管理操作为对所述目标模型对应的目标数据集的输入操作的情况下，基于所述目标数据集，获取所述目标模型的变量信息；

在所述变量管理操作为对所述目标模型对应的目标文件集的输入操作的情况下，基于所述目标文件集，获取所述目标模型的变量信息；

在所述变量管理操作为对自动推断变量方式的选择操作的情况下，基于所述目标模型的模型组成文件，获取所述目标模型的变量信息。

可选的，所述变量管理操作包括对复杂变量的管理操作，所述复杂变量是由一维或者多维数组组成的数据容器。

可选的，所述管理操作包括：模型评估操作；

所述响应于所述管理操作，对所述模型管理系统中各模型组成文件对应的模型进行管理，包括：

响应于所述模型评估操作，对所述模型管理系统中的目标模型进行评估。

可选的，所述模型评估操作包括对已有评估工作流的选择操作；

所述对所述模型管理系统中的目标模型进行评估，包括：利用选择出的已有评估工作流，对所述目标模型进行评估；

或者，

所述模型评估操作包括对已有评估工作流的编辑操作；

所述对所述模型管理系统中的目标模型进行评估，包括：利用编辑后的已有评估工作流，对所述目标模型进行评估。

可选的，所述模型评估操作包括新建评估工作流的配置操作；

所述响应于所述模型评估操作，对所述模型管理系统中的目标模型进行评估，包括：

响应于所述配置操作，获取用于新建评估工作流的配置信息；所述配置信息包括：数据集、模型应用算子、预测算子、评估算子；

根据所述配置信息，生成目标评估工作流；

利用所述目标评估工作流，对所述目标模型进行评估。

可选的，所述管理操作还包括：模型发布操作；

所述响应于所述管理操作，对所述模型管理系统中各模型组成文件对应的模型进行管理，还包括：

响应于所述模型发布操作，将评估后的且满足预设条件的模型发布为模型服务。

可选的，所述响应于所述管理操作，对所述模型管理系统中各模型组成文件对应的模型进行管理，还包括：

基于预设模型发布策略，筛选满足所述预设模型发布策略的目标模型，并将所述目标模型发布到所述预设模型发布策略中指定的模型服务中。

可选的，所述管理操作包括：监控操作；

所述响应于所述管理操作，对所述模型管理系统中各模型组成文件对应的模型进行管理，包括：

响应于所述监控操作，监控所述模型管理系统中的模型变化情况，并统计所述模型管理系统中的模型，得到所述模型管理系统的模型管理信息；

显示所述模型管理信息。

可选的，所述管理操作包括：订阅操作；

所述响应于所述管理操作，对所述模型管理系统中各模型组成文件对应的模型进行管理，包括：

响应于所述订阅操作，获取所述模型管理系统的模型变化信息，并将所述模型变化信息发送给第三方系统。

可选的，所述管理操作包括：展示操作；

所述响应于所述管理操作，对所述模型管理系统中各模型组成文件对应的模型进行管理，包括：

响应于所述展示操作，对所述模型管理系统中的目标模型的模型信息进行显示。

可选的，所述管理操作包括：导出操作；

所述响应于所述管理操作，对所述模型管理系统中各模型组成文件对应的模型进行管理，包括：

响应于所述导出操作，将所述模型管理系统中的目标模型和/或目标模型的模型信息导出。

第三方面，本发明实施例提供了一种模型管理系统，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述计算机程序被所述处理器执行时实现上述模型管理方法的步骤。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时可以实现上述模型管理方法的步骤。

在本发明实施例中，通过支持多种模型文件格式的模型管理系统，可以方便用户对模型进行多样管理，从而实现对模型的有效管理。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种模型管理系统的结构示意图；

图2为本发明实施例提供的另一种模型管理系统的结构示意图；

图3为本发明实施例中入库条件设置界面的示意图；

图4为本发明实施例中数据集选择界面的示意图；

图5为本发明实施例中变量信息显示界面的示意图；

图6为本发明实施例中自定义变量显示界面的示意图；

图7为本发明实施例中评估工作流的示意图；

图8为本发明实施例中评估方式选择界面的示意图；

图9为本发明实施例提供的一种模型管理方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了便于理解，首先对本发明实施例中的模型管理系统说明如下。

本发明实施例中，模型管理系统可以理解为模型仓库。对于模型仓库，顾名思义，其为用于存储和管理机器学习模型的仓库。模型仓库是数据分析系统所提供的一种针对模型的管理功能。模型仓库可以实现对入仓的模型进行统一管理。模型仓库中的模型可以来源于不同的系统，可以包括但不限于数据分析系统中通过自动建模、工作流可视化建模、探索空间代码化建模等方式建立的训练好的模型，以及从其他平台导入的模型。这些模型存储于模型仓库后，可以进行长期的存储与应用。

进一步来说，模型仓库对某一模型进行管理，主要是基于该模型对应的模型组成文件实现管理的，其中，该模型组成文件至少包括模型的模型文件。模型仓库能否对某一模型进行管理，主要是取决于该模型的模型文件格式。如果该模型的模型文件格式是模型仓库所支持的模型文件格式，则模型仓库可以对该模型进行管理。

因此，为了实现管理功能，本发明实施例中的模型管理系统兼容多种格式的模型文件，本发明的模型管理系统所支持的模型文件格式可以包括但不限于以下至少一项：

ONNX(.onnx、.pb、.pbtxt)

Keras(.h5、.keras)

Caffe2(.pb、.pbtxt)

MXNet(.model、.json)

TensorFlow Lite(.tflite).

Caffe(.caffemodel、.prototxt)

PyTorch(.pt，.pth)

Torch(.t7)

CNTK(.model、.cntk)

scikit-learn(.pkl)

TensorFlow.js(.json、.pb)

TensorFlow(.pb、.meta、.pbtxt)

其中，上述括号外的内容所表示的是机器学习框架，上述括号内的内容所表示的是对应的模型文件格式。

可选的，本发明实施例中的模型管理系统可以实现的对模型的管理包括但不限于以下至少一项：模型导入、模型评估、模型发布、模型导出、模型信息展示、模型消息订阅等等。其中，上述模型导入具体可包括：模型分组管理和变量管理。这样，通过本发明实施例中的模型管理系统，可以方便用户对模型进行多样管理，从而实现对模型的有效管理。

具体的，通过本发明实施例中的模型管理系统，可以将原有的来自不同系统的零散模型进行集中式的存储与管理，从而保证了模型资产不会因为存储位置不当而造成丢失。并且，由于集中式存储与管理模型，不仅可以接收不同来源的模型，还可以向下游用户屏蔽模型来源的差异。

此外，通过本发明实施例中的模型管理系统，还可以实现以下有益效果中的至少一项：

方便模型的访问，模型管理系统中的所有模型具有单一访问点，而不是要求用户分别连接到数十甚至上百个站点；

保证模型的完整性与统一性，比如可对模型管理系统中的模型都提供基本信息、变量信息、解释性、评估等信息，从而便于用户选取更好的模型；

将模型的管理从模型训练与模型应用中分离出来，在有效支撑从数据到人工智能AI应用的全流程开发过程的同时，可以将模型沉淀为成果资产，并简化了整个系统的复杂性；

安全审计，统一存储管理的方式便于更有效的监控模型资产的变化和应用情况，并追踪系统中模型的变化。

下面结合实施例和附图对本发明进行详细说明。

请参见图1，图1是本发明实施例提供的一种模型管理系统的结构示意图，如图1所示，该模型管理系统可包括：

接口模块101，用于显示用户界面，并接收用户在所述用户界面上的管理操作；

管理模块102，用于响应于所述管理操作，对所述模型管理系统中各模型组成文件对应的模型进行管理；其中，模型组成文件包括模型文件；所述模型管理系统支持多种模型文件格式。

可理解的，上述管理操作可以包括以下至少一项：导入操作、分组操作、变量管理操作、模型评估操作、模型发布操作、订阅操作、展示操作、导出操作等等。

一种实施方式中，上述管理操作可以仅为一种操作。比如，上述管理操作为导入操作；或者，上述管理操作为评估操作。

另一种实施方式中，上述管理操作可以为系列操作。比如，上述管理操作可包括导入操作和分组操作；或者，上述管理操作可包括模型评估操作和模型发布操作。

在本发明实施例中，通过支持多种模型文件格式的模型管理系统，可以方便用户对模型进行多样管理，从而实现对模型的有效管理。

下面，分别针对本发明实施例中的模型管理系统所实现的不同管理功能说明如下。

(1)模型导入

可选的，上述管理操作可包括：将第一模型的模型组成文件导入模型管理系统的导入操作。如图2所示，所述管理模块102可包括：

第一导入单元201，用于响应于所述导入操作，将所述第一模型的模型组成文件导入到所述模型管理系统。

需说明的，所述第一模型具体为数据分析系统生成的模型和/或其他平台生成的模型。通过上述导入操作，可以直接向模型管理系统中提交第一模型的模型组成文件。上述导入操作可选为拖拽模型文件的操作或者输入模型文件的存储路径的操作，以便将该模型文件上传到模型管理系统中。

在导入第一模型时，可以选择导入单个模型文件的单模型，也可以选择导入多个模型文件的复杂模型。其中，复杂模型是指由至少两个子模型组成的复合模型，各个子模型可分别实现不同的预测、推理功能。

进一步的，所述第一模型可为包括至少两个子模型的复杂模型。所述复杂模型的模型组成文件包括：所述复杂模型对应的控制文件(即入口文件)以及每个所述子模型的模型文件。所述控制文件指示至少两个子模型之间的执行关系，即指示组成复杂模型的子模型(单模型)的决策顺序。对应的，所述第一导入单元201用于：响应于所述导入操作，将所述控制文件和每个子模型的模型文件导入到模型管理系统。

例如，导入的复杂模型为人脸表情检测模型。其中，该人脸表情检测模型包括：用于判断有无人脸的分类子模型、用于确定人脸区域的区域检测子模型以及用于识别表情的表情检测子模型；该人脸表情检测模型对应的控制文件指示依次执行：分类，区域检测，表情检测。

这里需要说明的是，本发明实施例将一个复杂模型以多个模型文件的形式导入，在一定程度上可以保证每个模型文件对应模型的复杂度不会太大，进而有利于提升复杂模型计算的评估指标。

可选的，本发明实施例中的模型管理系统可以设置于数据分析系统中。上述管理操作可包括：对第二模型的筛选条件的输入操作，所述第二模型为所述数据分析系统提供的模型。如图2所示，所述管理模块102可包括：

第二导入单元202，用于响应于所述输入操作，将训练得到的且满足所述筛选条件的目标模型的模型组成文件导入到模型管理系统。

需说明的，所述第二模型具体可为数据分析系统通过自动建模、工作流可视化建模、探索空间代码化建模等方式建立的训练好的模型。在导入第二模型时，所采用的导入方式可以包括：手工提交方式和自动提交方式。

对于自动提交方式，通常适用于对新模型进行入库，该新模型比如为同一工作流重复运行训练出的新版本的模型；再比如为运行一新建工作流训练出的模型。此情况下，上述筛选条件也可称为入库条件。在用户设置入库条件(即筛选条件)之后，当工作流运行训练出新模型时，基于该入库条件，会自动将满足入库条件的模型推送到模型管理系统。

对于手工提交方式，用户可以基于手动提交方式，实现满足筛选条件的目标模型进一步的选择，从而进一步将更符合用户需求的目标模型导入到模型管理系统中。具体的，在用户输入对第二模型的筛选条件之后，模型管理系统可以根据该筛选条件，从训练得到的模型中选择满足该筛选条件的目标模型，并在用户界面显示基于用户设置的筛选条件筛选出的目标模型，从而用户对用户界面显示的目标模型进一步选择，然后，点击提交按键，将进一步选择出的目标模型导入到模型管理系统。

可选的，该筛选条件可以基于模型的评估指标和/或模型类型设置。其中，该评估指标可包括但不限于以下至少一项：Silhouette(轮廓)系数、Homogeneity(同质性)、Completeness(完整性)、V-measure(聚类情况)、曲线下面积(Area Under The Curve，AUC)、准确率、精确率、召回率、F1分数、对数损失、解释差异分值、均值误差、均方误差、均方根误差、均方根对数误差、R2值、绝对均值误差等。该模型类型可包括但不限于以下至少一项：二分类、多分类、回归、聚类等。

例如，请参见图3，图3为本发明实施例中入库条件设置界面的示意图。当用户操作该入库条件设置界面中相应的操作框时，可以配置模型类型和评估指标，从而得到入库条件。比如，用户操作该入库条件设置界面中的模型类型选项卡，设定入库模型的模型类型为二分类模型；用户操作该入库条件设置界面中的评估指标选项卡，设定入库模型的准确率大于或等于75％。

进一步的，为了便于管理，本发明实施例可以对导入的模型进行分组管理。也就是说，在将模型导入到模型管理系统时，需设置将该模型导入到模型管理系统的哪个模型组中，以将该模型导入到相应模型组。

其中，上述管理操作还可包括：分组操作。该分组操作可为对目标模型组的选择操作。如图2所示，所述管理模块102还可包括：

分组管理单元203，用于响应于所述分组操作，将所述模型组成文件导入到模型管理系统中的目标模型组。

可选的，所述分组管理单元203还可包括：

解析子单元，用于解析所述模型组成文件，得到所述模型组成文件对应的模型信息；

验证子单元，用于根据所述模型解析信息，验证所述模型组成文件对应的模型是否满足导入所述目标模型组的导入条件；

导入子单元，用于在满足所述导入条件的情况下，将所述模型组成文件导入到所述目标模型组。

其中，该目标模型组可选为已有模型组，或者，新建模型组。对于模型组的分组方式可为基于以下至少一项进行分组：模型类型、业务类型等。上述导入目标模型组的导入条件可以是待导入模型的特征形状和/或模型类型，与目标模型组的特征形状和/或模型类型一致。

一种实施方式中，当将模型导入到一个已有模型组时，可以在用户界面上显示已有模型组列表，以由用户从该已有模型组列表中选择目标模型组，从而在将模型导入到模型管理系统时，直接将该模型导入到该目标模型组中。

另一种实施方式中，当将模型导入到一个新建模型组时，需首先新建一个模型组。而在新建模型组时，用户可以首先在新建模型组界面上设置模型组名称、模型组简介等信息，然后点击提交，触发建立新的模型组。

需要说明的是，新建模型组的模型类型和特征形状通常为空。当在该新建模型组中导入第一个模型时，可将该第一个模型对应模型类型和特征形状，确定为该新建模型组的模型类型和特征形状。另外，当模型组中只有一个模型时，该模型组的特征形状是可以修改的。

进一步的，模型管理系统中的模型是基于一定分组规则进行分组管理。在将模型导入到目标模型组时，需要验证该模型是否满足导入该目标模型组的导入条件，若满足导入条件，则将该模型导入到该目标模型组，该模型入库成功；否则，该模型入库失败。

例如，基于模型类型分组，相应的分组规则可为模型类型相同，并且特征形状一致。该模型类型可以包括但不限于以下至少一项：二分类、多分类、回归、聚类等。在将模型导入到模型管理系统时，该系统会校验该模型的模型类型是否与选择的已有模型组的模型类型相同，且该模型的特征形状是否与该选择的已有模型组的特征形状相同，若校验结果为上述两个条件都满足，则将该模型导入到该选择的已有模型组中；否则，导入失败。

而在校验模型之前，需先进行模型解剖，以获取用于模型验证的模型类型和特征形状。其中，对模型解剖可以理解为解析模型，以提取模型的元数据。该元数据可包括但不限于以下至少一项：模型类型、框架类型、特征形状和名称等。对于解析模型，针对不同格式的模型文件可以采用不同处理方式。例如，针对PMML格式的模型文件，由于其本身就是一个半结构化数据，可以直接从中提取相关key对应的值(value)；而针对pkl这种二进制格式的模型文件，则需要先进行反序列化，然后获取所需的模型解析信息。

另外，在导入模型文件后，模型管理系统可以自动进行模型文件剖析，即从模型文件中提取模型的名称、类型、框架、特征形状等信息，并自动进行模型可视化。可理解的，一个模型文件通常包括了模型的所有信息，在模型文件剖析的过程中可以获得所需的模型信息，并进行可视化展示。

(2)模型变量管理

可选的，上述管理操作可包括：变量管理操作。如图2所示，所述管理模块102可包括：

获取单元204，用于响应于所述变量管理操作，获取模型管理系统中的目标模型变量的变量信息。

其中，所述变量信息可包括特征变量信息和目标变量信息。该特征变量信息可以理解为模型的输入特征信息，该目标变量信息可以理解为模型的输出特征信息。根据特征变量信息可以推断出目标变量信息。模型的变量信息可以决定模型的输入输出特征、形状特征等。模型的变量信息本质上是列名、类型以及样本数据等。

对于模型的变量信息，可以用于后续模型发布，即基于变量信息生成相应的API(Application Programming Interface，应用程序编程接口)，从而基于该API接口调用模型。

本发明实施例中，当获取模型的变量信息时，可以通过用户自定义变量方式获取，或者，通过系统自动识别方式获取。而在通过系统自动识别方式获取时，相应的识别方式可以包括以下三种：自动推断、从数据集中获取、从文件集中获取。

可选的，在通过用户自定义变量方式获取变量信息的情况下，所述变量管理操作可为对变量参数的输入操作。所述获取单元204用于：获取与所述变量参数对应的目标模型的变量信息。

例如，当通过用户自定义变量方式获取变量信息时，可以首先显示自定义变量用户界面，然后由用户通过该用户界面自定义变量的变量名称、数据类型(比如整型、长整型、浮点型、双精度型、布尔型、时间型、字符型等)、变量类型(比如特征变量和/或目标变量)、样本值等。此外，通过操作该用户界面，可以在特征变量和/或目标变量中添加变量记录。

可选的，在从数据集中获取变量信息的情况下，所述变量管理操作可为对目标模型对应的目标数据集的输入操作。所述获取单元204用于：基于所述目标数据集，获取目标模型的变量信息，即将从所述目标数据集中提取的变量信息作为目标模型的变量信息。

例如，当选择从目标数据集中获取变量信息时，可以首先显示用户界面，然后由用户通过该用户界面选定一个数据集，即选定目标数据集，以自动从该目标数据集获取变量信息。具体的，当从目标数据集中获取变量信息时，模型管理系统可以自动获取该目标数据集的列名、列的类型以及列值等，并将其分别作为目标模型变量的名称、数据类型和样本值等，并确定哪些为特征变量，哪些为目标变量。

一种实施方式中，当选择从目标数据集中获取变量信息时，可以显示如图4所示的用户界面。在图4所示的用户界面上，用户可以点击数据集复选框中的向下搜索按键，以显示可供选择的数据集列表；进一步的，用户可以从显示的数据集列表中选择一个数据集作为目标数据集，并点击下一步，以使模型管理系统基于该目标数据集获取相应目标模型的变量信息，并展示获取的变量信息(如图5所示)。

可选的，在从文件集中获取变量信息的情况下，所述变量管理操作可为对目标模型对应的目标文件集的输入操作。所述获取单元204用于：基于所述目标文件集，获取目标模型的变量信息，即将从所述目标文件集中提取的变量信息作为目标模型的变量信息。

例如，当选择从目标文件集中获取变量信息时，可以首先显示用户界面，然后由用户通过该用户界面上传一个文件集(如，CSV文件)作为目标文件集，以自动从该目标文件集获取变量信息。其中，该文件集可为包含表头的文件，表头即为列名，根据表头所在列的数据可以推断每列的数据类型。

一种实施方式中，在上传文件集时，用户可以通过拖拽或点击等方式，将选定的文件集(即目标文件集)上传到模型管理系统中，以使模型管理系统基于该选定的文件集获取相应目标模型的变量信息，并展示获取的变量信息(如图5所示)。

可选的，在自动推断变量信息的情况下，所述变量管理操作可为对自动推断变量方式的选择操作。所述获取单元204用于：基于目标模型的模型组成文件，获取所述目标模型的变量信息。

其中，由于模型文件通常包括了相应模型的所有信息，因此基于对目标模型的模型组成文件的自动解析，可以获取目标模型的变量信息。

进一步的，在该目标模型为复杂模型(包括至少两个子模型)的情况下，当获取该目标模型的变量信息时，基于该目标模型对应的入口文件(即控制文件，指示至少两个子模型之间的执行关系)，可以确定从哪个子模型的模型文件中获取特征变量信息(输入特征信息)，以及从哪个子模型的模型文件中获取目标变量信息(输出特征信息)。

需指出的是，本发明实施例中可以支持对复杂变量的变量管理。构成一个复杂变量的所有数值具有相同的数值类型。复杂变量的变量信息可以是通过用户自定义变量方式获取，或者，通过系统自动识别方式获取。

可选的，上述的变量管理操作可包括对复杂变量的管理操作。所述复杂变量可以是由一维或者多维数组组成的数据容器。所述复杂变量的类型信息可以包括：数组形状和数值类型。所述管理操作可以包括以下至少一项：修改、编辑、删除等。

对于复杂变量的管理，需要获取复杂变量的数组形状。例如，若某图像识别模型的输入为98×98的灰度图，则该图像识别模型的特征向量为复杂变量，即一个二维的变量，其数组形状为shape{98,98}，数值类型为int。又例如，若某图像识别模型的输入为98×98的RGB图，则该图像识别模型的特征向量为复杂变量，即一个三维的变量，其数组形状为shape{98,98,3}，数值类型为int。可以看出，对于一个复杂变量类型的表示可以包括两部分：shape部分(表示数组形状)和数值类型部分。

一种实施方式中，当通过用户自定义变量方式获取目标模型的复杂变量的变量信息时，可以显示如图6所示的自定义变量的用户界面，并由用户通过该用户界面输入复杂变量的数值类型、数组形状(shape)、样本值、名称、特征变量和/或目标变量等等。

另一种实施方式中，当通过系统自动识别方式获取目标模型的复杂变量的变量信息时，可以从目标模型对应的结构化文件或非结构化文件中自动识别，例如从输入输出图像、模型文件或数据集中自动推断。

(3)模型评估

可选的，上述管理操作可包括：模型评估操作。如图2所示，所述管理模块102可包括：

评估单元205，用于响应于所述模型评估操作，对所述模型管理系统中的目标模型进行评估。

其中，本发明实施例在对目标模型进行评估时，可以采用评估工作流对目标模型进行一次或多次评估。该评估工作流是一种特殊的工作流，如图7所示，该评估工作流可以包括数据集71、模型模块72、预测模块73和评估模块74。该数据集71表示待评估模型的输入，该模型模块72表示待评估模型，该预测模块73表示对待评估模型的输出结果的预测，该评估模块74用于基于待评估模型的实际输出结果和预设输出结果，对待评估模型进行评估。

具体实现时，本发明实施例中的评估工作流可以复用。比如，同一模型组的模型可以共用一个评估工作流。

本发明实施例中，在对选定的模型即目标模型进行评估时，可以选择已有评估工作流进行评估，或者选择新建评估工作流(可称为自定义评估工作流)进行评估，详述如下。

可选的，在选择已有评估工作流进行评估的情况下，所述模型评估操作可包括对已有评估工作流的选择操作。所述评估单元205用于：利用选择出的已有评估工作流，对目标模型进行评估。

例如，当选择已有评估工作流进行评估时，可以首先显示用户界面，并在该用户界面上显示已有评估工作流列表，然后由用户通过该用户界面从该已有评估工作流列表中选择一个评估工作流，用于对目标模型进行评估。需要说明的是，该已有评估工作流列表中的评估工作流可为该目标模型所在的整个模型组的评估工作流。在按模型类型分组的情况下，评估工作流一般在模型组内是通用的，但模型模块的参数是基于待评估的模型变化的。

具体的，当利用已有评估工作流评估一个具体模型时，为了保证评估的准确性，可以基于该具体模型的情况，重新实例化该已有评估工作流中模型模块的参数。

可选的是，在选择已有评估工作流进行评估的情况下，所述模型评估操作可包括对已有评估工作流的编辑操作。所述评估单元205用于：利用编辑后的已有评估工作流，对目标模型进行评估。

其中，对已有评估工作流的编辑操作包括下述至少之一：调整该已有评估工作流的数据集71、预测模块73和评估模块74。例如，更新已有评估工作流所使用的数据集；更改已有评估工作流的预测模块73和/或评估模块74。

可选的，在选择新建评估工作流进行评估的情况下，所述模型评估操作可为新建评估工作流的配置操作。所述评估单元205用于：响应于所述配置操作，获取用于新建评估工作流的配置信息，所述配置信息包括：数据集、模型应用算子(用于设定要评估的模型)、预测算子、评估算子；根据所述配置信息，生成目标评估工作流；利用所述目标评估工作流，对目标模型进行评估。

例如，当选择新建评估工作流(即自定义评估工作流)进行评估时，可以首先显示如图8所示的用户界面，然后由用户通过该用户界面选择用于新建评估工作流的数据集、预测模块和评估模块，从而基于选择的数据集、预测模块和评估模块，自动生成评估工作流，并运行该评估工作流，对目标模型进行评估。这样可以实现一键自动评估。

进一步的，在创建评估工作流之后，可以自动保存创建的评估工作流，从而便于后续可以直接利用该评估工作流进行模型评估。

进一步的，在对模型进行评估之后，可以生成模型的评估报告并展示，以使得用户获知相应模型的评估结果。该评估报告可以包括但不限于：模型评估指标、特征重要度等。其中，生成模型的评估报告可以为图表、Excel、文本文件等格式。例如，若生成模型的评估报告可以为图表，该模型的模型评估指标、特征重要度等信息，可以通过波点图、折线图、柱状图等图表形式进行展示。

本发明实施例中，在对模型进行评估时，可以选择对单个模型进行评估，或者选择多个模型进行批量评估。例如，在选择对单个模型进行评估时，可以首先显示用户界面，然后由用户通过该用户界面选择该单个模型，以及对应的评估工作流(已有评估工作流，或者新建评估工作流)，并利用该评估工作流对该单个模型进行评估。又例如，在选择对多个模型(比如某模型组中的多个模型)进行批量评估时，可以首先显示用户界面，然后由用户通过该用户界面选择该模型组通用的评估工作流(已有评估工作流，或者新建评估工作流)，并利用该评估工作流依次对该模型组中的多个模型进行评估。

(4)模型发布

本发明实施例中，在对模型评估完之后，可以将评估后的模型发布为模型服务。该模型服务可选为已有模型服务，或者，新的模型服务。

可选的，上述管理操作还可包括：模型发布操作。如图2所示，所述管理模块102还包括：

发布单元206，用于响应于所述模型发布操作，将评估后的且满足预设条件的模型发布为模型服务。

需要说明的，这里的模型发布操作，是指将当前的模型推送到一个模型服务下，从而成为该模型服务中一个备选模型。模型服务在接收到这个模型后，还需要进行部署、上线等操作。因此，这里的模型发布操作，并不会改变模型服务对外的服务。但是，如果发布的模型的输入特征与模型服务的特征不一致，则模型服务会升级一个新的版本。其中，模型服务的特征是指模型的输入数据的结构信息，如模型的输入数据包括几个变量。

例如，如果原来的模型服务中模型的输入有四个变量，依次为A、B、C和D，现在新的模型有5个变量，即增加了E，那么将该新的模型发布到该模型服务后，该模型服务会升级到一个新的版本。

进一步的，本发明实施例中还可以选择模型自动发布为模型服务。上述发布单元206具体可用于：基于预设模型发布策略，筛选满足所述预设模型发布策略的目标模型，并将所述目标模型发布到所述预设模型发布策略中指定的模型服务中。该预设模型发布策略至少可包括：模型服务的模型的过滤条件(比如，该过滤条件可是基于评估指标设定的)和指定的模型服务。这样，在新增模型之后，基于预设模型发布策略，可以检查该模型是否满足该预设模型发布策略，若满足，则将该模型发布到相应的模型服务中。

(5)模型展示

为了方便用户有效监控模型资产的变化和应用情况，以及及时追踪模型管理系统中模型的变化，本发明实施例可以针对模型管理系统中的模型资产提供可视化展示。

可选的，上述管理操作可包括：监控操作。如图2所示，所述管理模块102可包括：

监控单元207，用于响应于所述监控操作，监控所述模型管理系统中的模型变化情况，并统计所述模型管理系统中的模型，得到所述模型管理系统的模型管理信息；

第一显示单元208，用于显示所述模型管理信息。

其中，该模型管理信息可包括但不限于以下至少一项：模型总量，模型组数量、每个模型组的模型数量、模型发布情况等。

此外，本发明实施例中还可针对模型管理系统中的模型信息，提供可视化功能。上述管理操作可包括：展示操作。如图2所示，所述管理模块102可以包括：

第二显示单元209，用于响应于所述展示操作，对所述模型管理系统中的目标模型的模型信息进行显示。

其中，模型信息可理解为模型的详情信息，可包括但不限于以下至少一项:模型属性信息、模型结构、模型评估信息等。

(6)模型订阅

为便于与模型管理系统交互的其他系统可以及时获取到该模型管理系统中的模型变化情况，本发明实施例中可以提供订阅功能，以在监测到模型管理系统中模型有变化(比如新增模型，和/或删除模型)时，将变化信息通知给其他系统。

可选的，上述管理操作可包括：订阅操作。如图2所示，所述管理模块102可包括：

订阅单元210，用于响应于所述订阅操作，获取所述模型管理系统的模型变化信息，并将所述模型变化信息发送给第三方系统。

其中，该模型变化信息中可以包括模型组的变化信息，比如模型组中有关新增模型的信息、删除模型组中的模型、新建一模型组等。

这样，可以便于第三方系统及时获知模型管理系统的模型变化情况。

(7)模型导出

为了便于模型应用，本发明实施例中支持将模型管理系统中的模型和/或模型信息导出。可选的，上述管理操作可包括：导出操作。如图2所示，所述管理模块102可以包括：

导出单元211，用于响应于所述导出操作，将所述模型管理系统中的目标模型和/或目标模型的模型信息导出。

需说明的，对于模型导出，可以选择下载为模型文件，以模型文件的形式导出；或者，可以将模型以多种语言的SDK包的形式导出。其中，该多种语言的SDK包的形式可包括但不限于以下任意一项：JAVA SDK、Hive SDK、Spark SDK等。

模型信息可理解为模型的详情信息，可包括但不限于以下至少一项:模型属性信息、模型结构、模型评估信息等。对于模型信息的导出，可以支持以多种格式形式导出，比如以文件(比如PDF文件)、图片(比如png图片)、表格excel、文本文件等格式导出。通过将模型的模型信息以图表进行可视化输出，方便本身无可视化能力的系统进行该模型可视化信息展示。

此外，为方便用户方便快捷的选择出冠军模型，本发明实施例中的模型管理系统还可以提供模型对比功能，比如对比模型组中模型的评估指标进行对比。

上述实施例对本发明的模型管理系统进行了说明，下面将结合实施例和附图对本发明的模型管理方法进行说明。

参见图9所示，本发明实施例还提供了一种模型管理方法，所述方法包括如下步骤：

步骤901：显示用户界面，并接收用户在所述用户界面上的管理操作。

步骤902：响应于所述管理操作，对所述模型管理系统中各模型组成文件对应的模型进行管理。

其中，所述模型组成文件包括模型文件。所述模型管理系统支持多种模型文件格式。

在本发明实施例中，通过支持多种模型文件格式的模型管理系统，可以方便用户对模型进行多样管理，从而实现对模型的有效管理。

可选的，所述管理操作包括：将第一模型的模型组成文件导入所述模型管理系统的导入操作；

所述步骤902包括：响应于所述导入操作，将所述第一模型的模型组成文件导入到所述模型管理系统。

可选的，所述第一模型为包括至少两个子模型的复杂模型；

所述复杂模型的模型组成文件包括：所述复杂模型对应的控制文件以及每个所述子模型的模型文件，所述控制文件指示所述至少两个子模型之间的执行关系；

所述将所述第一模型的模型组成文件导入到所述模型管理系统，包括：

将所述控制文件和每个所述子模型的模型文件导入到所述模型管理系统。

可选的，所述模型管理系统设置于数据分析系统中；所述管理操作包括：对第二模型的筛选条件的输入操作，所述第二模型为所述数据分析系统提供的模型；

所述步骤902：响应于所述输入操作，将训练得到的且满足所述筛选条件的目标模型的模型组成文件导入到所述模型管理系统。

可选的，所述管理操作还包括：分组操作；

所述步骤902还包括：响应于所述分组操作，将所述模型组成文件导入到所述模型管理系统中的目标模型组。

可选的，所述将所述模型组成文件导入到所述模型管理系统中的目标模型组，包括：

解析所述模型组成文件，得到所述模型组成文件对应的模型解析信息；

根据所述模型解析信息，验证所述模型组成文件对应的模型是否满足导入所述目标模型组的导入条件；

在满足所述导入条件的情况下，将所述模型组成文件导入到所述目标模型组。

可选的，所述管理操作包括：变量管理操作；

所述步骤902包括：响应于所述变量管理操作，获取所述模型管理系统中的目标模型变量的变量信息；其中，所述变量信息包括特征变量信息和目标变量信息。

可选的，所述获取所述模型管理系统中的目标模型变量的变量信息，包括以下任意一项：

在所述变量管理操作为对变量参数的输入操作的情况下，获取与所述变量参数对应的目标模型的变量信息；

在所述变量管理操作为对所述目标模型对应的目标数据集的输入操作的情况下，基于所述目标数据集，获取所述目标模型的变量信息；

在所述变量管理操作为对所述目标模型对应的目标文件集的输入操作的情况下，基于所述目标文件集，获取所述目标模型的变量信息；

在所述变量管理操作为对自动推断变量方式的选择操作的情况下，基于所述目标模型的模型组成文件，获取所述目标模型的变量信息。

可选的，所述变量管理操作包括对复杂变量的管理操作，所述复杂变量是由一维或者多维数组组成的数据容器。

可选的，所述管理操作包括：模型评估操作；

所述步骤902包括：响应于所述模型评估操作，对所述模型管理系统中的目标模型进行评估。

可选的，所述模型评估操作包括对已有评估工作流的选择操作；

所述对所述模型管理系统中的目标模型进行评估，包括：利用选择出的已有评估工作流，对所述目标模型进行评估；

或者，

所述模型评估操作包括对已有评估工作流的编辑操作；

所述对所述模型管理系统中的目标模型进行评估，包括：利用编辑后的已有评估工作流，对所述目标模型进行评估。

可选的，所述模型评估操作包括新建评估工作流的配置操作；

所述步骤902包括：

响应于所述配置操作，获取用于新建评估工作流的配置信息；所述配置信息包括：数据集、模型应用算子、预测算子、评估算子；

根据所述配置信息，生成目标评估工作流；

利用所述目标评估工作流，对所述目标模型进行评估。

可选的，所述管理操作还包括：模型发布操作；

所述步骤902还包括：响应于所述模型发布操作，将评估后的且满足预设条件的模型发布为模型服务。

可选的，所述步骤902还包括：基于预设模型发布策略，筛选满足所述预设模型发布策略的目标模型，并将所述目标模型发布到所述预设模型发布策略中指定的模型服务中。

可选的，所述管理操作包括：监控操作；

所述步骤902包括：响应于所述监控操作，监控所述模型管理系统中的模型变化情况，并统计所述模型管理系统中的模型，得到所述模型管理系统的模型管理信息；

显示所述模型管理信息。

可选的，所述管理操作包括：订阅操作；

所述步骤902包括：响应于所述订阅操作，获取所述模型管理系统的模型变化信息，并将所述模型变化信息发送给第三方系统。

可选的，所述管理操作包括：展示操作；

所述步骤902包括：响应于所述展示操作，对所述模型管理系统中的目标模型的模型信息进行显示。

可选的，所述管理操作包括：导出操作；

所述步骤902包括：响应于所述导出操作，将所述模型管理系统中的目标模型和/或目标模型的模型信息导出。

此外，本发明实施例还提供了一种模型管理系统，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述计算机程序被所述处理器执行时可实现上述模型管理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述模型管理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体,可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台模型管理系统设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种模型管理系统，其特征在于，包括：

接口模块，用于显示用户界面，并接收用户在所述用户界面上的管理操作；

管理模块，用于响应于所述管理操作，对所述模型管理系统中各模型组成文件对应的模型进行管理；

其中，所述模型组成文件包括模型文件；

所述模型管理系统支持多种模型文件格式。

2.根据权利要求1所述的系统，其特征在于，所述管理操作包括：将第一模型的模型组成文件导入所述模型管理系统的导入操作；

所述管理模块包括：

第一导入单元，用于响应于所述导入操作，将所述第一模型的模型组成文件导入到所述模型管理系统。

3.根据权利要求2所述的系统，其特征在于，

所述第一模型为包括至少两个子模型的复杂模型；

所述复杂模型的模型组成文件包括：所述复杂模型对应的控制文件以及每个所述子模型的模型文件，所述控制文件指示所述至少两个子模型之间的执行关系；

所述第一导入单元用于：响应于所述导入操作，将所述控制文件和每个所述子模型的模型文件导入到所述模型管理系统。

4.根据权利要求1所述的系统，其特征在于，

所述管理操作包括：变量管理操作；

所述管理模块包括：

获取单元，用于响应于所述变量管理操作，获取所述模型管理系统中的目标模型变量的变量信息；其中，所述变量信息包括特征变量信息和目标变量信息。

5.根据权利要求4所述的系统，其特征在于，

所述变量管理操作包括对复杂变量的管理操作，所述复杂变量是由一维或者多维数组组成的数据容器。

6.一种模型管理方法，其特征在于，包括：

显示用户界面，并接收用户在所述用户界面上的管理操作；

响应于所述管理操作，对所述模型管理系统中各模型组成文件对应的模型进行管理；

其中，所述模型组成文件包括模型文件；

所述模型管理系统支持多种模型文件格式。

7.根据权利要求6所述的方法，其特征在于，所述管理操作包括：将第一模型的模型组成文件导入所述模型管理系统的导入操作；

所述响应于所述管理操作，对所述模型管理系统中各模型组成文件对应的模型进行管理，包括：

响应于所述导入操作，将所述第一模型的模型组成文件导入到所述模型管理系统。

8.根据权利要求7所述的方法，其特征在于，所述第一模型为包括至少两个子模型的复杂模型；

所述复杂模型的模型组成文件包括：所述复杂模型对应的控制文件以及每个所述子模型的模型文件，所述控制文件指示所述至少两个子模型之间的执行关系；

所述将所述第一模型的模型组成文件导入到所述模型管理系统，包括：将所述控制文件和每个所述子模型的模型文件导入到所述模型管理系统。

9.根据权利要求6所述的方法，其特征在于，

所述管理操作包括：变量管理操作；

所述响应于所述管理操作，对所述模型管理系统中各模型组成文件对应的模型进行管理，包括：

响应于所述变量管理操作，获取所述模型管理系统中的目标模型变量的变量信息；其中，所述变量信息包括特征变量信息和目标变量信息。

10.根据权利要求9所述的方法，其特征在于，

所述变量管理操作包括对复杂变量的管理操作，所述复杂变量是由一维或者多维数组组成的数据容器。

Images