CN113741912A - 模型管理系统、方法、装置及设备 - Google Patents

Abstract

本申请公开了模型管理系统、方法、装置及设备。其中，所述系统通过服务端部署多个机器学习模型，响应应用系统对目标模型的调用请求；根据目标模型的访问记录数据，确定目标模型的使用状态数据；根据所述状态数据，管理所述目标模型；客户端的应用系统通过模型访问工具包，调用目标模型，并生成目标模型的访问记录数据，并将访问记录数据存储至服务端。采用这种处理方式，使得将模型访问日志收集功能集成在模型访问工具包SDK中，通过SDK生成日志，并将日志写入服务器，避免应用系统编写日志收集代码，无需在应用系统设备侧安装日志收集agent；因此，可以提升模型访问日志收集效率、及模型管理效率，有效降低应用系统开发人员的工作量。

Description

模型管理系统、方法、装置及设备

技术领域

本申请涉及机器学习技术领域，具体涉及模型管理系统、方法和装置，以及电子设备。

背景技术

随着机器学习领域的技术发展，越来越多的企业开始将机器学习技术应用于产品开发中，并使用模型管理平台来管理多个产品方部署的多个机器学习模型，如阿里巴巴集团使用模型管理平台来管理诸如智能音箱使用的语音识别模型，自动驾驶车辆使用的车辆定位模型，新零售使用的商品推荐模型，等等。

为了更好地管理日益增多的机器学习模型，模型管理平台需要收集模型访问的日志来了解模型的访问状态，如每秒查询率(Queries-per-second，QPS)，响应时间(ResponseTime,RT)等，以便于应用系统可以根据这些状态数据对模型进行管理。目前，针对各个机器学习模型的访问日志收集处理，主要是在应用模型的各个产品系统内部完成，如自动驾驶系统负责收集车辆定位模型的访问日志，智能音箱系统负责收集语音识别模型的访问日志，等等。采用这种处理方式，各个产品系统需要分别编写用于打印文本日志的程序代码，并需要在各个客户端上分别安装日志收集代理程序(agent)，通过该agent将日志传输到日志服务器进行存储和处理。

然而，在实现本发明过程中，发明人发现该技术方案至少存在如下问题：1)对于模型访问日志的收集而言，每个需要访问模型的产品系统都需要分别打印日志，并配置相应的日志收集agent，操作方式较为繁琐；2)同产品耦合度高，却无法复用用于收集模型访问日志的程序代码。综上所述，如何收集模型访问日志，以简化模型访问日志的收集处理方式，提升日志收集效率，统一模型访问日志的格式，提升模型管理效率，并降低应用系统开发人员的工作量，成为本领域技术人员迫切需要解决的技术问题。

发明内容

本申请提供模型管理系统，以解决现有技术存在的模型访问日志收集效率较低、且模型管理效率较低等问题。本申请另外提供模型管理方法和装置，以及电子设备。

本申请提供一种模型管理系统，包括：

服务端，用于部署多个机器学习模型，响应应用系统对目标模型的调用请求；以及，根据目标模型的访问记录数据，确定目标模型的使用状态数据；根据所述状态数据，管理所述目标模型；

客户端，用于应用系统通过模型访问工具包，调用目标模型，并生成目标模型的访问记录数据，并将访问记录数据存储至服务端。

本申请还提供一种模型管理系统，包括：

第一服务端，用于部署多个机器学习模型，响应应用系统对目标模型的调用请求；以及，根据第二服务端存储的目标模型的访问记录数据，确定目标模型的使用状态数据；根据所述状态数据，管理所述目标模型；

第二服务端，用于存储所述多个机器学习模型的访问记录数据；

客户端，用于应用系统通过模型访问工具包，发送所述调用指令，并生成目标模型的访问记录数据，并将访问记录数据存储至第二服务端。

可选的，还包括：

第三服务端，用于存储第二服务端访问参数配置信息；

客户端，还用于应用系统通过模型访问工具包，从第三服务端获取所述配置信息，根据所述配置信息与第二服务端建立连接。

本申请还提供一种模型管理方法，包括：

应用系统通过模型访问工具包，调用部署在服务端的目标模型；

通过所述工具包，生成目标模型的访问记录数据；

通过所述工具包，将访问记录数据存储至服务端。

可选的，所述将访问记录数据存储至服务端，包括：

通过第一线程，将访问记录数据写入缓存日志队列；

通过第二线程组，从缓存日志队列读取访问记录数据，并连接服务端执行写入操作。

可选的，还包括：

接收服务端发送的模型访问异常信息；

展示所述异常信息。

可选的，所述异常信息包括：每秒请求数QPS异常信息，访问时延RT异常信息。

可选的，还包括：

向服务端发送针对目标模型的访问记录查询请求；

展示服务端回送的目标模型的访问记录数据。

可选的，所述访问记录数据包括：访问时延；

所述访问时延包括：服务端访问时延和网络时延。

可选的，展示服务端回送的符合所述应用系统访问权限的访问记录数据。

可选的，还包括：

设置日志收集开关项；

若所述开关项为是，则通过所述工具包，生成目标模型的访问记录数据，并通过所述工具包，将访问记录数据存储至服务端；

若所述开关项为否，则通过所述应用系统，生成目标模型的访问记录数据，并将访问记录数据存储至服务端。

可选的，还包括：

设置日志收集权限；

通过所述工具包，生成符合所述日志收集权限的访问记录数据。

可选的，还包括：

若满足本地模型调用条件，则应用系统调用部署在应用系统本地的目标模型，生成本地模型的访问记录数据，将本地模型的访问记录数据存储至服务端，以便于服务端根据本地模型的访问记录数据、和服务端模型的访问记录数据，管理所述目标模型。

可选的，还包括：

向服务端发送针对目标模型的访问记录报表生成请求；

展示服务端回送的目标模型的访问记录报表。

本申请还提供一种模型管理方法，包括：

部署多个机器学习模型，并响应客户端发送的应用系统对目标模型的调用请求；

根据目标模型的访问记录数据，确定目标模型的使用状态数据；

根据所述状态数据，管理所述目标模型。

可选的，所述根据所述状态数据，管理所述目标模型，包括：

若所述状态数据满足模型访问异常条件，则生成模型访问异常信息；

向客户端发送所述异常信息。

可选的，所述状态数据包括：每秒请求数QPS；

所述若所述状态数据满足模型访问异常条件，则生成模型访问异常信息，包括：

若QPS大于QPS阈值，则生成QPS异常信息。

可选的，所述状态数据包括：访问时延RT；

所述若所述状态数据满足模型访问异常条件，则生成模型访问异常信息，包括：

若RT大于RT阈值，则生成RT异常信息。

可选的，还包括：

接收客户端发送的针对目标模型的访问记录查询请求；

向客户端回送目标模型的访问记录数据。

可选的，还包括：

确定符合所述应用系统访问权限的所述访问记录数据。

可选的，还包括：

确定应用系统对模型的日志收集开关项，以便于若所述应用系统对目标模型的所述开关项为是，则所述应用系统通过模型访问工具包，生成目标模型的访问记录数据，并通过所述工具包，将访问记录数据存储至服务端；若所述开关项为否，则通过所述应用系统，生成目标模型的访问记录数据，并将访问记录数据存储至服务端。

可选的，还包括：

确定应用系统对模型的日志收集权限，以便于所述应用系统通过所述工具包，生成符合所述日志收集权限的访问记录数据。

可选的，所述目标模型的访问记录数据包括：应用系统调用部署在应用系统本地的目标模型的访问记录数据，应用系统调用部署在服务端的目标模型的访问记录数据；

根据本地模型的访问记录数据、和服务端模型的访问记录数据，管理所述目标模型。

可选的，还包括：

接收应用系统发送的针对目标模型的访问记录报表生成请求；

生成与所述应用系统对应的目标模型的访问记录报表。

可选的，确定与所述应用系统对应的报表模板；

根据所述报表模板，生成所述访问记录报表。

本申请还提供一种模型管理方法，包括：

应用系统通过模型访问工具包，调用部署在第一服务端的目标模型；

通过所述工具包，生成目标模型的访问记录数据；

通过所述工具包，将访问记录数据存储至第二服务端。

可选的，还包括：

通过所述工具包，从第三服务端获取第二服务端访问参数配置信息；

根据所述配置信息，与第二服务端建立连接。

可选的，还包括：

接收第三服务端发送的配置信息更新消息；

根据更新后的配置消息，与第二服务端建立连接。

可选的，所述配置信息包括：第二服务端的访问地址，安全认证信息。

本申请还提供一种模型管理方法，包括：

部署多个机器学习模型，并响应客户端发送的应用系统对目标模型的调用请求；

根据第二服务端存储的目标模型的访问记录数据，确定目标模型的使用状态数据；

根据所述状态数据，管理所述目标模型。

本申请还提供一种模型管理方法，包括：

接收应用系统通过模型访问工具包发送的针对目标模型的访问记录数据；

存储所述访问记录数据。

本申请还提供一种模型管理方法，包括：

接收针对第二服务端的访问参数配置请求；

存储配置项标识与第二服务端访问参数间的对应关系。

本申请还提供一种模型管理装置，包括：

模型调用单元，用于应用系统通过模型访问工具包，调用部署在服务端的目标模型；

日志生成单元，用于通过所述工具包，生成目标模型的访问记录数据；

日志存储单元，用于通过所述工具包，将访问记录数据存储至服务端。

本申请还提供一种电子设备，包括：

处理器；以及

存储器，用于存储实现模型管理方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：应用系统通过模型访问工具包，调用部署在服务端的目标模型；通过所述工具包，生成目标模型的访问记录数据；通过所述工具包，将访问记录数据存储至服务端。

本申请还提供一种模型管理装置，包括：

模型服务单元，用于部署多个机器学习模型，并响应客户端发送的应用系统对目标模型的调用请求；

模型使用状态确定单元，用于根据目标模型的访问记录数据，确定目标模型的使用状态数据；

模型管理单元，用于根据所述状态数据，管理所述目标模型。

本申请还提供一种电子设备，包括：

处理器；以及

存储器，用于存储实现模型管理方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：部署多个机器学习模型，并响应客户端发送的应用系统对目标模型的调用请求；根据目标模型的访问记录数据，确定目标模型的使用状态数据；根据所述状态数据，管理所述目标模型。

本申请还提供一种模型管理装置，包括：

模型调用单元，用于应用系统通过模型访问工具包，调用部署在第一服务端的目标模型；

日志生成单元，用于通过所述工具包，生成目标模型的访问记录数据；

日志存储单元，用于通过所述工具包，将访问记录数据存储至第二服务端。

本申请还提供一种电子设备，包括：

处理器；以及

存储器，用于存储实现模型管理方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：应用系统通过模型访问工具包，调用部署在第一服务端的目标模型；通过所述工具包，生成目标模型的访问记录数据；通过所述工具包，将访问记录数据存储至第二服务端。

本申请还提供一种模型管理装置，包括：

模型服务单元，用于部署多个机器学习模型，并响应客户端发送的应用系统对目标模型的调用请求；

模型使用状态确定单元，用于根据第二服务端存储的目标模型的访问记录数据，确定目标模型的使用状态数据；

模型管理单元，用于根据所述状态数据，管理所述目标模型。

本申请还提供一种电子设备，包括：

处理器；以及

存储器，用于存储实现模型管理方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：部署多个机器学习模型，并响应客户端发送的应用系统对目标模型的调用请求；根据第二服务端存储的目标模型的访问记录数据，确定目标模型的使用状态数据；根据所述状态数据，管理所述目标模型。

本申请还提供一种模型管理装置，包括：

日志接收单元，用于接收应用系统通过模型访问工具包发送的针对目标模型的访问记录数据；

日志存储单元，用于存储所述访问记录数据。

本申请还提供一种电子设备，包括：

处理器；以及

存储器，用于存储实现模型管理方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：接收应用系统通过模型访问工具包发送的针对目标模型的访问记录数据；存储所述访问记录数据。

本申请还提供一种模型管理装置，包括：

请求接收单元，用于接收针对第二服务端的访问参数配置请求；

参数配置单元，用于存储配置项标识与第二服务端访问参数间的对应关系。

本申请还提供一种电子设备，包括：

处理器；以及

存储器，用于存储实现模型管理方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：接收针对第二服务端的访问参数配置请求；存储配置项标识与第二服务端访问参数间的对应关系。

本申请还提供一种模型管理方法，包括：

向服务端发送针对目标模型的访问记录数据获取请求；所述访问记录数据采用如下方式收集：应用系统通过模型访问工具包，调用部署在服务端的目标模型；通过所述工具包，生成目标模型的访问记录数据；通过所述工具包，将访问记录数据存储至服务端；

展示服务端回送的符合访问权限的访问记录数据。

本申请还提供一种模型管理方法，包括：

应用系统确定使用模型访问工具包针对目标模型进行日志收集的开关项；

若所述开关项为是，则应用系统通过所述工具包，调用部署在服务端的目标模型；通过所述工具包，生成目标模型的访问记录数据；通过所述工具包，将访问记录数据存储至服务端；

若所述开关项为否，则通过所述应用系统，生成目标模型的访问记录数据，并将访问记录数据存储至服务端。

本申请还提供一种模型管理方法，包括：

应用系统确定使用模型访问工具包针对目标模型进行日志收集的日志收集权限；

应用系统通过所述工具包，调用部署在服务端的目标模型；

通过所述工具包，生成符合所述日志收集权限的访问记录数据；

通过所述工具包，将访问记录数据存储至服务端。

本申请还提供一种模型管理方法，包括：

若满足本地模型调用条件，则应用系统调用部署在应用系统本地的目标模型，生成本地模型的第一访问记录数据，将第一访问记录数据存储至服务端；

若不满足所述条件，则应用系统通过模型访问工具包，调用部署在服务端的目标模型；通过所述工具包，生成服务端模型的第二访问记录数据；通过所述工具包，将第二访问记录数据存储至服务端，以便于服务端根据第一访问记录数据、和第二访问记录数据，管理所述目标模型。

本申请还提供一种模型管理方法，包括：

向服务端发送针对目标模型的访问记录报表生成请求；所述访问记录数据采用如下方式收集：应用系统通过模型访问工具包，调用部署在服务端的目标模型；通过所述工具包，生成目标模型的访问记录数据；通过所述工具包，将访问记录数据存储至服务端；

展示服务端回送的目标模型的访问记录报表。

本申请还提供一种模型管理方法，包括：

接收客户端发送的针对目标模型的访问记录数据获取请求；

确定符合访问权限的目标模型的访问记录数据；

向客户端回送符合访问权限的访问记录数据。

本申请还提供一种模型管理方法，包括：

确定应用系统使用模型访问工具包针对目标模型进行日志收集的开关项，以便于若所述应用系统对目标模型的所述开关项为是，则所述应用系统通过模型访问工具包，生成目标模型的访问记录数据，并通过所述工具包，将访问记录数据存储至服务端；若所述开关项为否，则通过所述应用系统，生成目标模型的访问记录数据，并将访问记录数据存储至服务端。

本申请还提供一种模型管理方法，包括：

确定应用系统使用模型访问工具包针对目标模型进行日志收集的日志收集权限，以便于所述应用系统通过所述工具包，生成符合所述日志收集权限的针对目标模型的访问记录数据。

本申请还提供一种模型管理方法，包括：

部署多个机器学习模型，并响应客户端发送的应用系统对目标模型的调用请求；

根据部署在应用系统本地的目标模型的第一访问记录数据、和部署在服务端的目标模型的第二访问记录数据，确定目标模型的使用状态数据；

根据所述状态数据，管理所述目标模型。

本申请还提供一种模型管理方法，包括：

接收应用系统发送的针对目标模型的访问记录报表生成请求；

生成与所述应用系统对应的目标模型的访问记录报表。

可选的，所述方法还包括：确定与所述应用系统对应的报表模板；

根据所述报表模板，生成所述访问记录报表。

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各种方法。

本申请还提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各种方法。

与现有技术相比，本申请具有以下优点：

本申请实施例提供的模型管理系统，通过服务端部署多个机器学习模型，响应应用系统对目标模型的调用请求；以及，根据目标模型的访问记录数据，确定目标模型的使用状态数据；根据所述状态数据，管理所述目标模型；客户端的应用系统通过模型访问工具包，调用目标模型，并生成目标模型的访问记录数据，并将访问记录数据存储至服务端；这种处理方式，使得将模型访问日志收集功能集成在模型访问工具包SDK中，通过SDK生成日志，并将日志写入服务器，避免应用系统编写日志收集代码，无需在应用系统设备侧安装日志收集agent；因此，可以有效简化模型访问日志的收集方式，统一因多个应用系统访问模型生成的模型访问日志的格式，从而提升模型访问日志收集效率、及模型管理效率，有效降低应用系统开发人员的工作量。

本申请实施例提供的模型管理系统，通过第一服务端部署多个机器学习模型，响应应用系统对目标模型的调用请求；以及，根据目标模型的访问记录数据，确定目标模型的使用状态数据；根据所述状态数据，管理所述目标模型；客户端的应用系统通过模型访问工具包，调用目标模型，并生成目标模型的访问记录数据，并将访问记录数据存储至第二服务端；这种处理方式，使得将模型访问日志收集功能集成在模型访问工具包SDK中，通过SDK生成日志，并可通过配置组件将日志服务器的访问地址和安全认证信息传递给SDK，SDK根据认证信息和日志服务器地址，将日志写入服务器，避免应用系统编写日志收集代码，无需在应用系统设备侧安装日志收集agent；因此，可以有效简化模型访问日志的收集方式，统一因多个应用系统访问模型生成的模型访问日志的格式，从而提升模型访问日志收集效率、及模型管理效率，有效降低应用系统开发人员的工作量。

附图说明

图1本申请提供的一种模型管理系统的实施例的结构示意图；

图2本申请提供的一种模型管理系统的实施例的应用场景示意图；

图3本申请提供的一种模型管理系统的实施例的设备交互示意图；

图4本申请提供的一种模型管理系统的实施例的结构示意图；

图5本申请提供的一种模型管理系统的实施例的应用场景示意图；

图6本申请提供的一种模型管理系统的实施例的设备交互示意图；

图7本申请提供的一种模型管理系统的实施例的具体系统架构示意图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。

在本申请中，提供了模型管理系统、方法和装置，以及电子设备。在下面的实施例中逐一对各种方案进行详细说明。

第一实施例

请参考图1，其为本申请的模型管理系统的实施例的结构图。该系统包括：服务端1，客户端2。

所述服务端1，可以是部署在云端服务器上的服务端，也可以是专用于实现模型管理服务的服务器，可部署在数据中心。服务器，可以是集群服务器，也可以是单台服务器。服务器1，可部署有多个机器学习模型。

所述客户端2，是调用模型的应用系统端。具体而言，所述客户端2可以是部署有应用系统服务端程序的服务器，也可以是装载有应用系统客户端程序的终端设备，如移动通讯设备(即：通常所说的手机或者智能手机)、个人电脑、PAD、iPad等终端设备。

请参考图2，其为本申请的模型管理系统的场景示意图。服务端、客户端间可通过网络连接，如客户端可通过Internet等方式联网，等等。服务端可部署多个机器学习模型，客户端上运行的应用系统通过模型访问工具包，调用目标模型；服务端响应应用系统对目标模型的调用请求，后续可根据目标模型的访问记录数据，确定目标模型的使用状态数据；根据所述状态数据，管理所述目标模型。

请参考图3，其为本申请的模型管理系统的实施例的设备交互示意图。在本实施例中，服务端用于部署多个机器学习模型，响应应用系统对目标模型的调用请求；以及，根据目标模型的访问记录数据，确定目标模型的使用状态数据；根据所述状态数据，管理所述目标模型；客户端用于应用系统通过模型访问工具包，调用目标模型，并生成目标模型的访问记录数据，并将访问记录数据存储至服务端。

所述服务端可作为模型管理平台，管理多个应用系统部署的多个机器学习模型，如智能音箱使用的语音识别模型，自动驾驶车辆使用的车辆定位模型，新零售使用的商品推荐模型，等等。

在本实施例中，所述服务端存储模型访问日志。表1示出了本实施例中服务端记录的模型访问日志。

表1、模型访问日志

在表1中，访问标识用于唯一标识该记录数据对应哪次模型访问；模型名对应模型管理平台上的一个模型；模型版本，一个模型有多个版本，具体访问的哪个版本；模型类型，可表示是tensorflow模型还是普通机器学习模型；访问状态，访问成功还是失败；访问时延是该次访问的耗时，可包括服务端访问时延和网络时延。日志系统收集到这些记录之后可以通过分析和报表对部署的模型进行监控和分析。

所述客户端可作为模型应用方，通过客户端上运行的应用系统调用部署在服务端上的目标模型。在本实施例中，客户端上运行的应用系统通过模型访问工具包SDK，调用目标模型，并生成目标模型的访问记录数据，并将访问记录数据存储至服务端。

所述模型访问工具包SDK，包括但不限于：模型调用模块和模型访问日志收集模块。该SDK可由模型管理平台的技术人员开发完成，可通过JAVA等程序语言进行编写。应用系统的开发人员可将该SDK程序包加入到应用系统程序中，在应用系统程序中调用该SDK提供的模型调用模块和模型访问日志收集模块，以实现模型调用、及模型访问日志的收集。

需要强调的是，所述模型访问工具包SDK，与现有的SDK不同之处包括增加了模型访问日志收集模块；这种处理方式，使得无需应用系统的开发人员编写用于生成模型访问日志的程序代码，也无需在客户端上配置相应的日志收集agent，各个应用系统使用统一的模型访问日志收集模块，将模型访问日志存储至服务端；因此，可以有效简化模型访问日志的收集处理方式，提升日志收集效率，统一模型访问日志的格式，提升模型管理效率，并降低应用系统开发人员的工作量。

在一个示例中，应用系统通过第一线程，将如表1所示的访问记录数据写入客户端中的缓存日志队列；并通过第二线程组，从缓存日志队列读取访问记录数据，并连接服务端执行模型访问日志的写入操作。采用这种异步线程池的处理方式，使得模型日志写入操作不会影响应用系统的正常访问链路的性能；因此，可以有效提升应用系统性能。

所述服务端，可根据目标模型的访问记录数据，确定目标模型的使用状态数据；根据所述状态数据，管理所述目标模型。所述状态数据，包括但不限于：每秒请求数QPS，访问时延RT，等等。例如，服务端可根据实时更新的模型访问日志，更新QPS和RT等模型使用状态数据。

在本实施例中，所述服务端具体用于若所述状态数据满足模型访问异常条件，则生成模型访问异常信息；向应用系统发送所述异常信息。

在一个示例中，所述状态数据包括：每秒请求数QPS；所述服务端具体用于若QPS大于QPS阈值，则生成QPS异常信息。所述QPS阈值，可根据模型访问限制要求确定，如预先设定模型A的QPS阈值为100QPS。相应的，客户端还可用于通过应用系统接收服务端发送的QPS异常信息；展示所述QPS异常信息。应用系统可根据该QPS异常信息，调用该模型的另一个版本，或者延时一定时间后重新调用该模型，也可以调用应用系统本地的离线机器学习模型，等等。

在另一个示例中，所述状态数据包括：访问时延RT；所述服务端具体用于若RT大于RT阈值，则生成RT异常信息。其中，RT阈值可根据模型访问限制要求确定，如预先设定模型A的RT阈值为1ms。相应的，客户端还可用于通过应用系统接收服务端发送的RT异常信息；展示所述RT异常信息。应用系统可根据该RT异常信息，调用该模型的另一个版本，或者延时一定时间后重新调用该模型，等等。

在又一个示例中，客户端还可用于向服务端发送针对目标模型的访问记录查询请求；展示服务端回送的目标模型的访问记录数据。例如，应用系统开发人员要排查应用系统中有关模型调用存在的故障时，可通过客户端查询某个时间段内的模型访问日志。

在一个示例中，服务端还用于确定应用系统对访问记录数据的访问权限信息，并在接收到访问记录查询请求时，根据该访问权限信息，从日志文件中获取符合所述应用系统访问权限的访问记录数据；相应的，应用系统展示符合所述应用系统访问权限的访问记录数据。表2示出了本实施例中模型访问记录的访问权限数据。

表2、访问权限数据

由表2可见，应用系统1有权调用模型A，并有权查看其对于模型A的所有访问记录数据，以及应用系统2对于模型A的访问记录数据，但无权查看应用系统3对于模型A的访问记录数据；应用系统2和应用系统3也有权调用模型A，但只有权查看其自身系统对于模型A的访问记录数据，无权查看其它应用系统对于模型A的访问记录数据；而超级管理员可查询所有应用系统对所有模型的访问记录数据。

本实施例提供的所述系统，通过服务端确定应用系统对访问记录数据的访问权限信息，并在接收到访问记录查询请求时，根据该访问权限信息，从日志文件中获取符合所述应用系统访问权限的访问记录数据；相应的，应用系统展示符合所述应用系统访问权限的访问记录数据；这种处理方式，使得模型访问记录只能被授权的一方查看，而不能被任意方查看；因此，可以有效确保访问记录数据的安全性。

在一个示例中，应用系统可设置日志收集开关项；若所述开关项为是，则通过所述工具包，生成目标模型的访问记录数据，并通过所述工具包，将访问记录数据存储至服务端；若所述开关项为否，则通过所述应用系统，生成目标模型的访问记录数据，并将访问记录数据存储至服务端。表3示出了本实施例中应用系统的日志收集开关项配置信息。

表3、日志收集开关项配置信息

具体实施时，也可以是所述工具包向应用系统提供是否由工具包自动收集模型访问记录数据的配置参数，如在应用程序内设置所述工具包的参数logRecord＝1，该参数值表示由工具包自动收集模型访问记录数据，这样就使得在通过所述工具包内的模型调用模块调用服务端的机器学习模型时，所述工具包可自动通过模型访问日志收集模块生成目标模型的访问记录数据，并将访问记录数据存储至服务端。如果logRecord＝0，则表示由应用系统收集模型访问记录数据，这是可调用应用系统中的模型访问日志收集模块生成目标模型的访问记录数据，并将访问记录数据存储至服务端。

本实施例提供的所述系统，通过应用系统设置日志收集开关项；若所述开关项为是，则通过所述工具包，生成目标模型的访问记录数据，并通过所述工具包，将访问记录数据存储至服务端；若所述开关项为否，则通过所述应用系统，生成目标模型的访问记录数据，并将访问记录数据存储至服务端；这种处理方式，使得应用系统可控制是否由所述工具包自动收集模型访问记录数据；因此，可以有效确保应用系统的数据安全性。

在一个示例中，所述应用系统还可设置日志收集权限；通过所述工具包，生成符合所述日志收集权限的访问记录数据。表4示出了本实施例中应用系统的日志收集权限配置信息。

表4、日志收集开关项配置信息

例如，一级权限可收集用户数据(如IP地址、设备标识等)，二级权限不能收集用户数据，等等。

本实施例提供的所述系统，通过应用系统设置日志收集权限；通过所述工具包，生成符合所述日志收集权限的访问记录数据；这种处理方式，使得应用系统可控制所述工具包可自动收集哪些模型访问记录数据，不能收集哪些模型访问记录数据；因此，可以进一步提升应用系统的数据安全性。

在一个示例中，所述应用系统若满足本地模型调用条件，则应用系统调用部署在应用系统本地的目标模型，生成本地模型的访问记录数据，将本地模型的访问记录数据存储至服务端，以便于服务端根据本地模型的访问记录数据、和服务端模型的访问记录数据，管理所述目标模型。所述满足本地模型调用条件，包括但不限于：调用部署在服务端的目标模型失败，收到服务端发送的目标模型访问异常信息，等等。采用这种处理方式，使得离线模型访问记录数据与在线模型访问记录数据统一记录，这样可以根据更为全面的模型访问记录数据，对模型进行管理；因此，可以有效提升模型管理的准确度。

在一个示例中，所述应用系统向服务端发送针对目标模型的访问记录报表生成请求，并展示服务端回送的目标模型的访问记录报表。具体实施时，所述应用系统可指定报表格式(如报表模板)，不同格式的报表可包括不同形式的数据，服务端生成符合应用系统所需格式的报表。采用这种处理方式，使得应用系统可查看各种模型访问记录报表；因此，可以有效提升模型管理效率。

从上述实施例可见，本申请实施例提供的模型管理系统，通过服务端部署多个机器学习模型，响应应用系统对目标模型的调用请求；以及，根据目标模型的访问记录数据，确定目标模型的使用状态数据；根据所述状态数据，管理所述目标模型；客户端的应用系统通过模型访问工具包，调用目标模型，并生成目标模型的访问记录数据，并将访问记录数据存储至服务端；这种处理方式，使得将模型访问日志收集功能集成在模型访问工具包SDK中，通过SDK生成日志，并将日志写入服务器，避免应用系统编写日志收集代码，无需在应用系统设备侧安装日志收集agent；因此，可以有效简化模型访问日志的收集方式，统一因多个应用系统访问模型生成的模型访问日志的格式，从而提升模型访问日志收集效率、及模型管理效率，有效降低应用系统开发人员的工作量。

第二实施例

与上述的模型管理系统相对应，本申请还提供一种模型管理方法，该方法的执行主体包括但不限于服务器，也可以是个人电脑等终端设备。本实施例与第一实施例内容相同的部分不再赘述，请参见实施例一中的相应部分。

在本实施例中，所述方法包括如下步骤：

步骤1：应用系统通过模型访问工具包，调用部署在服务端的目标模型；

步骤2：通过所述工具包，生成目标模型的访问记录数据；

步骤3：通过所述工具包，将访问记录数据存储至服务端。

在一个示例中，步骤3可包括如下子步骤：1)通过第一线程，将访问记录数据写入缓存日志队列；2)通过第二线程组，从缓存日志队列读取访问记录数据，并连接服务端执行写入操作。

在一个示例中，所述方法还可包括如下步骤：接收服务端发送的模型访问异常信息；展示所述异常信息。

所述异常信息，包括但不限于：每秒请求数QPS异常信息，访问时延RT异常信息。

在一个示例中，所述方法还可包括如下步骤：向服务端发送针对目标模型的访问记录查询请求；展示服务端回送的目标模型的访问记录数据。

所述访问记录数据，可包括访问时延；所述访问时延包括：服务端访问时延和网络时延。

在本实施例中，所述方法的执行主体展示服务端回送的符合所述应用系统访问权限的访问记录数据。

在一个示例中，所述方法还可包括如下步骤：设置日志收集开关项；若所述开关项为是，则通过所述工具包，生成目标模型的访问记录数据，并通过所述工具包，将访问记录数据存储至服务端；若所述开关项为否，则通过所述应用系统，生成目标模型的访问记录数据，并将访问记录数据存储至服务端。

在一个示例中，所述方法还可包括如下步骤：设置日志收集权限；通过所述工具包，生成符合所述日志收集权限的访问记录数据。

在一个示例中，所述方法还可包括如下步骤：若满足本地模型调用条件，则应用系统调用部署在应用系统本地的目标模型，生成本地模型的访问记录数据，将本地模型的访问记录数据存储至服务端，以便于服务端根据本地模型的访问记录数据、和服务端模型的访问记录数据，管理所述目标模型。

在一个示例中，所述方法还可包括如下步骤：向服务端发送针对目标模型的访问记录报表生成请求；

展示服务端回送的目标模型的访问记录报表。

从上述实施例可见，本申请实施例提供的模型管理方法，客户端的应用系统通过模型访问工具包，调用目标模型，并生成目标模型的访问记录数据，并将访问记录数据存储至服务端，通过服务端部署多个机器学习模型，响应应用系统对目标模型的调用请求；以及，根据目标模型的访问记录数据，确定目标模型的使用状态数据；根据所述状态数据，管理所述目标模型；这种处理方式，使得将模型访问日志收集功能集成在模型访问工具包SDK中，通过SDK生成日志，并将日志写入服务器，避免应用系统编写日志收集代码，无需在应用系统设备侧安装日志收集agent；因此，可以有效简化模型访问日志的收集方式，统一因多个应用系统访问模型生成的模型访问日志的格式，从而提升模型访问日志收集效率、及模型管理效率，有效降低应用系统开发人员的工作量。

第三实施例

在上述的实施例中，提供了一种模型管理方法，与之相对应的，本申请还提供一种模型管理装置。该装置是与上述方法的实施例相对应。

本实施例与第一实施例内容相同的部分不再赘述，请参见实施例一中的相应部分。本申请提供的一种模型管理装置包括：

模型调用单元，用于应用系统通过模型访问工具包，调用部署在服务端的目标模型；

日志生成单元，用于通过所述工具包，生成目标模型的访问记录数据；

日志存储单元，用于通过所述工具包，将访问记录数据存储至服务端。

第四实施例

本申请还提供一种电子设备。由于设备实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。

本实施例的一种电子设备，该电子设备包括：处理器和存储器；存储器，用于存储实现模型管理方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：应用系统通过模型访问工具包，调用部署在服务端的目标模型；通过所述工具包，生成目标模型的访问记录数据；通过所述工具包，将访问记录数据存储至服务端。

第五实施例

与上述的模型管理系统相对应，本申请还提供一种模型管理方法，该方法的执行主体包括但不限于服务端，也可以是能够实现所述方法的任意设备。本实施例与第一实施例内容相同的部分不再赘述，请参见实施例一中的相应部分。

在本实施例中，所述方法包括如下步骤：

步骤1：部署多个机器学习模型，并响应客户端发送的应用系统对目标模型的调用请求；

步骤2：根据目标模型的访问记录数据，确定目标模型的使用状态数据；

步骤3：根据所述状态数据，管理所述目标模型。

在一个示例中，步骤3可包括如下子步骤：1)若所述状态数据满足模型访问异常条件，则生成模型访问异常信息；2)向客户端发送所述异常信息。

所述状态数据，可包括：每秒请求数QPS；所述若所述状态数据满足模型访问异常条件，则生成模型访问异常信息的步骤，可采用如下方式实施：若QPS大于QPS阈值，则生成QPS异常信息。

所述状态数据，可包括：访问时延RT；所述若所述状态数据满足模型访问异常条件，则生成模型访问异常信息的步骤，可采用如下方式实施：若RT大于RT阈值，则生成RT异常信息。

在一个示例中，所述方法还可包括如下步骤：接收客户端发送的针对目标模型的访问记录查询请求；向客户端回送目标模型的访问记录数据。所述客户端，可以是部署应用系统的设备，也可以是模型管理平台的超级管理员使用的客户端设备等。

在本实施例中，所述方法还可包括如下步骤：确定符合所述应用系统访问权限的所述访问记录数据，向客户端回送符合所述应用系统访问权限的所述访问记录数据。

在一个示例中，所述方法还可包括如下步骤：确定应用系统对模型的日志收集开关项，以便于若所述应用系统对目标模型的所述开关项为是，则所述应用系统通过模型访问工具包，生成目标模型的访问记录数据，并通过所述工具包，将访问记录数据存储至服务端；若所述开关项为否，则通过所述应用系统，生成目标模型的访问记录数据，并将访问记录数据存储至服务端。

在一个示例中，所述方法还可包括如下步骤：确定应用系统对模型的日志收集权限，以便于所述应用系统通过所述工具包，生成符合所述日志收集权限的访问记录数据。

所述目标模型的访问记录数据，可包括：应用系统调用部署在应用系统本地的目标模型的访问记录数据，还可包括：应用系统调用部署在服务端的目标模型的访问记录数据；相应的，所述方法的执行主体根据本地模型的访问记录数据、和服务端模型的访问记录数据，管理所述目标模型。

在一个示例中，所述方法还可包括如下步骤：接收应用系统发送的针对目标模型的访问记录报表生成请求；生成与所述应用系统对应的目标模型的访问记录报表。

在本实施例中，所述方法还可包括如下步骤：确定与所述应用系统对应的报表模板；相应的，根据所述报表模板，生成所述访问记录报表。

从上述实施例可见，本申请实施例提供的模型管理方法，通过服务端部署多个机器学习模型，响应应用系统对目标模型的调用请求；以及，根据目标模型的访问记录数据，确定目标模型的使用状态数据；根据所述状态数据，管理所述目标模型；客户端的应用系统通过模型访问工具包，调用目标模型，并生成目标模型的访问记录数据，并将访问记录数据存储至服务端；这种处理方式，使得将模型访问日志收集功能集成在模型访问工具包SDK中，通过SDK生成日志，并将日志写入服务器，避免应用系统编写日志收集代码，无需在应用系统设备侧安装日志收集agent；因此，可以有效简化模型访问日志的收集方式，统一因多个应用系统访问模型生成的模型访问日志的格式，从而提升模型访问日志收集效率、及模型管理效率，有效降低应用系统开发人员的工作量。

第六实施例

在上述的实施例中，提供了一种模型管理方法，与之相对应的，本申请还提供一种模型管理装置。该装置是与上述方法的实施例相对应。

本实施例与第一实施例内容相同的部分不再赘述，请参见实施例一中的相应部分。本申请提供的一种模型管理装置包括：

模型服务单元，用于部署多个机器学习模型，并响应客户端发送的应用系统对目标模型的调用请求；

模型使用状态确定单元，用于根据目标模型的访问记录数据，确定目标模型的使用状态数据；

模型管理单元，用于根据所述状态数据，管理所述目标模型。

第七实施例

本申请还提供一种电子设备实施例。由于设备实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。

本实施例的一种电子设备，该电子设备包括：处理器和存储器；存储器，用于存储实现模型管理方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：部署多个机器学习模型，并响应客户端发送的应用系统对目标模型的调用请求；根据目标模型的访问记录数据，确定目标模型的使用状态数据；根据所述状态数据，管理所述目标模型。

第八实施例

与上述的模型管理系统相对应，本申请还提供一种模型管理系统，该系统与实施例一提供的系统的不同之处包括：模型访问日志存储在独立于模型管理服务端的日志服务端。本实施例与第一实施例内容相同的部分不再赘述，请参见实施例一中的相应部分。

请参考图4，其为本申请的模型管理系统的实施例的结构图。该系统可包括：第一服务端1，客户端2，第二服务端3。

请参考图5，其为本申请的模型管理系统的应用场景示意图。在本实施例中，客户端上运行的应用系统通过模型访问工具包SDK，调用部署在第一服务端上的目标模型；第一服务端响应应用系统对目标模型的调用请求；应用系统还通过SDK集成的模型访问日志收集模块，生成目标模型的访问记录数据，并将访问日志存储至第二服务端(日志服务器)；后续，第一服务端可从日志服务端中读取目标模型的访问记录数据，并根据目标模型的访问记录数据，确定目标模型的使用状态数据；根据所述状态数据，管理所述目标模型。

请参考图6，其为本申请的模型管理系统的实施例的设备交互示意图。在本实施例中，第一服务端用于部署多个机器学习模型，响应应用系统对目标模型的调用请求；以及，根据第二服务端存储的目标模型的访问记录数据，确定目标模型的使用状态数据；根据所述状态数据，管理所述目标模型；第二服务端用于存储所述多个机器学习模型的访问记录数据；客户端用于应用系统通过模型访问工具包，发送所述调用指令，并生成目标模型的访问记录数据，并将访问记录数据存储至第二服务端。

请参考图7，其为本申请的模型管理系统的实施例的具体系统架构示意图。在一个示例中，所述系统还包括：第三服务端(配置服务端)，该服务端用于存储第二服务端访问参数配置信息，提供配置服务。第三服务端，还可存储其它配置信息，如应用系统的配置信息等。相应的，客户端还用于应用系统通过模型访问工具包，从第三服务端(配置组件)获取所述配置信息，根据所述配置信息与第二服务端建立连接。

所述配置信息，包括但不限于：第二服务端的访问地址，安全认证信息。具体实施时，所述第三服务端可记录配置项标识、与日志服务器地址、安全认证信息间的对应关系。客户端上运行的应用系统可通过SDK中记录的配置项标识，从第三服务端获取日志服务器地址、安全认证信息，根据这些信息与第二服务端建立连接，以便于将模型访问日志存储至第二服务端。在本实施例中，应用系统通过SDK中的日志接入模块从配置组件中拉取配置信息。

在一个示例中，客户端还可用于接收第三服务端发送的配置信息更新消息；根据更新后的配置消息，与第二服务端重新建立连接。采用这种处理方式，可以保证配置信息的实时更新，若配置信息有变动，也会实时动态的通知到应用系统加载的SDK。

从上述实施例可见，本申请实施例提供的模型管理系统，通过第一服务端部署多个机器学习模型，响应应用系统对目标模型的调用请求；以及，根据目标模型的访问记录数据，确定目标模型的使用状态数据；根据所述状态数据，管理所述目标模型；客户端的应用系统通过模型访问工具包，调用目标模型，并生成目标模型的访问记录数据，并将访问记录数据存储至第二服务端；这种处理方式，使得将模型访问日志收集功能集成在模型访问工具包SDK中，通过SDK生成日志，并可通过配置组件将日志服务器的访问地址和安全认证信息传递给SDK，SDK根据认证信息和日志服务器地址，将日志写入第二服务器，避免应用系统编写日志收集代码，无需在应用系统设备侧安装日志收集agent；因此，可以有效简化模型访问日志的收集方式，统一因多个应用系统访问模型生成的模型访问日志的格式，从而提升模型访问日志收集效率、及模型管理效率，有效降低应用系统开发人员的工作量。

第九实施例

与上述的模型管理系统相对应，本申请还提供一种模型管理方法，该方法的执行主体包括但不限于客户端。本实施例与第八实施例内容相同的部分不再赘述，请参见实施例八中的相应部分。

本申请提供的模型管理方法，可包括如下步骤：

步骤1：应用系统通过模型访问工具包，调用部署在第一服务端的目标模型；

步骤2：通过所述工具包，生成目标模型的访问记录数据；

步骤3：通过所述工具包，将访问记录数据存储至第二服务端。

在一个示例中，所述方法还可包括如下步骤：通过所述工具包，从第三服务端获取第二服务端访问参数配置信息；根据所述配置信息，与第二服务端建立连接。

所述配置信息，包括但不限于：第二服务端的访问地址，安全认证信息。

在一个示例中，所述方法还可包括如下步骤：接收第三服务端发送的配置信息更新消息；根据更新后的配置消息，与第二服务端建立连接。

从上述实施例可见，本申请实施例提供的模型管理方法，通过第一服务端部署多个机器学习模型，响应应用系统对目标模型的调用请求；以及，根据目标模型的访问记录数据，确定目标模型的使用状态数据；根据所述状态数据，管理所述目标模型；客户端的应用系统通过模型访问工具包，调用目标模型，并生成目标模型的访问记录数据，并将访问记录数据存储至第二服务端；这种处理方式，使得将模型访问日志收集功能集成在模型访问工具包SDK中，通过SDK生成日志，并可通过配置组件将日志服务器的访问地址和安全认证信息传递给SDK，SDK根据认证信息和日志服务器地址，将日志写入服务器，避免应用系统编写日志收集代码，无需在应用系统设备侧安装日志收集agent；因此，可以有效简化模型访问日志的收集方式，统一因多个应用系统访问模型生成的模型访问日志的格式，从而提升模型访问日志收集效率、及模型管理效率，有效降低应用系统开发人员的工作量。

第十实施例

在上述的实施例中，提供了一种模型管理方法，与之相对应的，本申请还提供一种模型管理装置。该装置是与上述方法的实施例相对应。本实施例与第一实施例内容相同的部分不再赘述，请参见实施例一中的相应部分。

本申请提供的一种模型管理装置包括：

模型调用单元，用于应用系统通过模型访问工具包，调用部署在第一服务端的目标模型；

日志生成单元，用于通过所述工具包，生成目标模型的访问记录数据；

日志存储单元，用于通过所述工具包，将访问记录数据存储至第二服务端。

第十一实施例

本申请还提供一种电子设备。由于设备实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。

本实施例的一种电子设备，该电子设备包括：处理器和存储器；存储器，用于存储实现模型管理方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：应用系统通过模型访问工具包，调用部署在第一服务端的目标模型；通过所述工具包，生成目标模型的访问记录数据；通过所述工具包，将访问记录数据存储至第二服务端。

第十二实施例

与上述的模型管理系统相对应，本申请还提供一种模型管理方法，该方法的执行主体包括但不限于服务端。本实施例与第八实施例内容相同的部分不再赘述，请参见实施例八中的相应部分。

本申请提供的模型管理方法，可包括如下步骤：

步骤1：部署多个机器学习模型，并响应客户端发送的应用系统对目标模型的调用请求；

步骤2：根据第二服务端存储的目标模型的访问记录数据，确定目标模型的使用状态数据；

步骤3：根据所述状态数据，管理所述目标模型。

从上述实施例可见，本申请实施例提供的模型管理方法，通过第一服务端部署多个机器学习模型，响应应用系统对目标模型的调用请求；以及，根据目标模型的访问记录数据，确定目标模型的使用状态数据；根据所述状态数据，管理所述目标模型；客户端的应用系统通过模型访问工具包，调用目标模型，并生成目标模型的访问记录数据，并将访问记录数据存储至第二服务端；这种处理方式，使得将模型访问日志收集功能集成在模型访问工具包SDK中，通过SDK生成日志，并可通过配置组件将日志服务器的访问地址和安全认证信息传递给SDK，SDK根据认证信息和日志服务器地址，将日志写入服务器，避免应用系统编写日志收集代码，无需在应用系统设备侧安装日志收集agent；因此，可以有效简化模型访问日志的收集方式，统一因多个应用系统访问模型生成的模型访问日志的格式，从而提升模型访问日志收集效率、及模型管理效率，有效降低应用系统开发人员的工作量。

第十三实施例

在上述的实施例中，提供了一种模型管理方法，与之相对应的，本申请还提供一种模型管理装置。该装置是与上述方法的实施例相对应。本实施例与第一实施例内容相同的部分不再赘述，请参见实施例一中的相应部分。

本申请提供的一种模型管理装置包括：

模型服务单元，用于部署多个机器学习模型，并响应客户端发送的应用系统对目标模型的调用请求；

模型使用状态确定单元，用于根据第二服务端存储的目标模型的访问记录数据，确定目标模型的使用状态数据；

模型管理单元，用于根据所述状态数据，管理所述目标模型。

第十四实施例

本申请还提供一种电子设备。由于设备实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。

本实施例的一种电子设备，该电子设备包括：处理器和存储器；存储器，用于存储实现模型管理方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：部署多个机器学习模型，并响应客户端发送的应用系统对目标模型的调用请求；根据第二服务端存储的目标模型的访问记录数据，确定目标模型的使用状态数据；根据所述状态数据，管理所述目标模型。

第十五实施例

与上述的模型管理系统相对应，本申请还提供一种模型管理方法，该方法的执行主体包括但不限于第二服务端。本实施例与第八实施例内容相同的部分不再赘述，请参见实施例八中的相应部分。

本申请提供的模型管理方法，可包括如下步骤：

步骤1：接收应用系统通过模型访问工具包发送的针对目标模型的访问记录数据；

步骤2：存储所述访问记录数据。

从上述实施例可见，本申请实施例提供的模型管理方法，通过第一服务端部署多个机器学习模型，响应应用系统对目标模型的调用请求；以及，根据目标模型的访问记录数据，确定目标模型的使用状态数据；根据所述状态数据，管理所述目标模型；客户端的应用系统通过模型访问工具包，调用目标模型，并生成目标模型的访问记录数据，并将访问记录数据存储至第二服务端；第二服务端接收应用系统通过模型访问工具包发送的针对目标模型的访问记录数据，存储所述访问记录数据；这种处理方式，使得将模型访问日志收集功能集成在模型访问工具包SDK中，通过SDK生成日志，并可通过配置组件将日志服务器的访问地址和安全认证信息传递给SDK，SDK根据认证信息和日志服务器地址，将日志写入服务器，避免应用系统编写日志收集代码，无需在应用系统设备侧安装日志收集agent；因此，可以有效简化模型访问日志的收集方式，统一因多个应用系统访问模型生成的模型访问日志的格式，从而提升模型访问日志收集效率、及模型管理效率，有效降低应用系统开发人员的工作量。

第十六实施例

在上述的实施例中，提供了一种模型管理方法，与之相对应的，本申请还提供一种模型管理装置。该装置是与上述方法的实施例相对应。本实施例与第一实施例内容相同的部分不再赘述，请参见实施例一中的相应部分。

本申请提供的一种模型管理装置包括：

日志接收单元，用于接收应用系统通过模型访问工具包发送的针对目标模型的访问记录数据；

日志存储单元，用于存储所述访问记录数据。

第十七实施例

本申请还提供一种电子设备。由于设备实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。

本实施例的一种电子设备，该电子设备包括：处理器和存储器；存储器，用于存储实现模型管理方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：接收应用系统通过模型访问工具包发送的针对目标模型的访问记录数据；存储所述访问记录数据。

第十八实施例

与上述的模型管理系统相对应，本申请还提供一种模型管理方法，该方法的执行主体包括但不限于第三服务端。本实施例与第八实施例内容相同的部分不再赘述，请参见实施例八中的相应部分。

本申请提供的模型管理方法，可包括如下步骤：

步骤1：接收针对第二服务端的访问参数配置请求；

步骤2：存储配置项标识与第二服务端访问参数间的对应关系。

从上述实施例可见，本申请实施例提供的模型管理方法，通过第一服务端部署多个机器学习模型，响应应用系统对目标模型的调用请求；以及，根据目标模型的访问记录数据，确定目标模型的使用状态数据；根据所述状态数据，管理所述目标模型；客户端的应用系统通过模型访问工具包，调用目标模型，并生成目标模型的访问记录数据，并将访问记录数据存储至第二服务端；第二服务端接收应用系统通过模型访问工具包发送的针对目标模型的访问记录数据，存储所述访问记录数据；并通过第三服务端接收针对第二服务端的访问参数配置请求，存储配置项标识与第二服务端访问参数间的对应关系；这种处理方式，使得将模型访问日志收集功能集成在模型访问工具包SDK中，通过SDK生成日志，并可通过配置组件将日志服务器的访问地址和安全认证信息传递给SDK，SDK根据认证信息和日志服务器地址，将日志写入服务器，避免应用系统编写日志收集代码，无需在应用系统设备侧安装日志收集agent；因此，可以有效简化模型访问日志的收集方式，统一因多个应用系统访问模型生成的模型访问日志的格式，从而提升模型访问日志收集效率、及模型管理效率，有效降低应用系统开发人员的工作量。

第十九实施例

在上述的实施例中，提供了一种模型管理方法，与之相对应的，本申请还提供一种模型管理装置。该装置是与上述方法的实施例相对应。本实施例与第一实施例内容相同的部分不再赘述，请参见实施例一中的相应部分。

本申请提供的一种模型管理装置包括：

请求接收单元，用于接收针对第二服务端的访问参数配置请求；

参数配置单元，用于存储配置项标识与第二服务端访问参数间的对应关系。

第二十实施例

本申请还提供一种电子设备。由于设备实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。

本实施例的一种电子设备，该电子设备包括：处理器和存储器；存储器，用于存储实现模型管理方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：接收针对第二服务端的访问参数配置请求；存储配置项标识与第二服务端访问参数间的对应关系。

第二十一实施例

与上述的模型管理系统相对应，本申请还提供一种模型管理方法，该方法的执行主体包括但不限于部署有应用系统的设备，也可以是管理应用系统的客户端。本实施例与第一实施例内容相同的部分不再赘述，请参见实施例一中的相应部分。

本申请提供的模型管理方法，可包括如下步骤：

步骤1：向服务端发送针对目标模型的访问记录数据获取请求；所述访问记录数据采用如下方式收集：应用系统通过模型访问工具包，调用部署在服务端的目标模型；通过所述工具包，生成目标模型的访问记录数据；通过所述工具包，将访问记录数据存储至服务端。

步骤2：展示服务端回送的符合访问权限的访问记录数据。

在本实施例中，服务端确定应用系统对访问记录数据的访问权限信息，并在接收到访问记录查询请求时，根据该访问权限信息，从日志文件中获取符合所述应用系统访问权限的访问记录数据；相应的，应用系统展示符合所述应用系统访问权限的访问记录数据。下表示出了本实施例中模型访问记录的访问权限数据。

由上表可见，应用系统1有权调用模型A，并有权查看其对于模型A的所有访问记录数据，以及应用系统2对于模型A的访问记录数据，但无权查看应用系统3对于模型A的访问记录数据；应用系统2和应用系统3也有权调用模型A，但只有权查看其自身系统对于模型A的访问记录数据，无权查看其它应用系统对于模型A的访问记录数据；而超级管理员可查询所有应用系统对所有模型的访问记录数据；模型A的管理员可查询模型A的所有访问数据,模型B的管理员可查询模型B的所有访问数据。

从上述实施例可见，本申请实施例提供的模型管理方法，通过向服务端发送针对目标模型的访问记录数据获取请求；所述访问记录数据采用如下方式收集：应用系统通过模型访问工具包，调用部署在服务端的目标模型；通过所述工具包，生成目标模型的访问记录数据；通过所述工具包，将访问记录数据存储至服务端；展示服务端回送的符合访问权限的访问记录数据；这种处理方式，使得同一模型可被多个应用系统调用，各个应用系统只能查看其有权查看的该模型的部分访问记录，而可能无法查看该模型的所有访问记录；因此，可以有效确保各个应用系统的访问记录数据的安全性。

第二十二实施例

与上述的模型管理方法相对应，本申请还提供一种模型管理方法，该方法的执行主体包括但不限于部署有机器学习模型的服务端。本实施例与第二十一实施例内容相同的部分不再赘述，请参见实施例二十一中的相应部分。

本申请提供的模型管理方法，可包括如下步骤：

步骤1：接收客户端发送的针对目标模型的访问记录数据获取请求；

步骤2：确定符合访问权限的目标模型的访问记录数据；

步骤3：向客户端回送符合访问权限的访问记录数据。

从上述实施例可见，本申请实施例提供的模型管理方法，通过接收客户端发送的针对目标模型的访问记录数据获取请求；确定符合访问权限的目标模型的访问记录数据；向客户端回送符合访问权限的访问记录数据；这种处理方式，使得同一模型可被多个应用系统调用，各个应用系统只能查看其有权查看的该模型的部分访问记录，而可能无法查看该模型的所有访问记录；因此，可以有效确保各个应用系统的访问记录数据的安全性。

第二十三实施例

与上述的模型管理系统相对应，本申请还提供一种模型管理方法，该方法的执行主体包括但不限于部署有应用系统的设备，也可以是管理应用系统的客户端。本实施例与第一实施例内容相同的部分不再赘述，请参见实施例一中的相应部分。

本申请提供的模型管理方法，可包括如下步骤：

步骤1：应用系统确定使用模型访问工具包针对目标模型进行日志收集的开关项；

步骤2：若所述开关项为是，则应用系统通过所述工具包，调用部署在服务端的目标模型；通过所述工具包，生成目标模型的访问记录数据；通过所述工具包，将访问记录数据存储至服务端；

步骤3：若所述开关项为否，则通过所述应用系统，生成目标模型的访问记录数据，并将访问记录数据存储至服务端。

在本实施例中，应用系统可设置日志收集开关项；若所述开关项为是，则通过所述工具包，生成目标模型的访问记录数据，并通过所述工具包，将访问记录数据存储至服务端；若所述开关项为否，则通过所述应用系统，生成目标模型的访问记录数据，并将访问记录数据存储至服务端。下表示出了本实施例中应用系统的日志收集开关项配置信息。

具体实施时，也可以是所述工具包向应用系统提供是否由工具包自动收集模型访问记录数据的配置参数，如在应用程序内设置所述工具包的参数logRecord＝1，该参数值表示由工具包自动收集模型访问记录数据，这样就使得在通过所述工具包内的模型调用模块调用服务端的机器学习模型时，所述工具包可自动通过模型访问日志收集模块生成目标模型的访问记录数据，并将访问记录数据存储至服务端。如果logRecord＝0，则表示由应用系统收集模型访问记录数据，这是可调用应用系统中的模型访问日志收集模块生成目标模型的访问记录数据，并将访问记录数据存储至服务端。

从上述实施例可见，本申请实施例提供的模型管理方法，通过应用系统确定使用模型访问工具包针对目标模型进行日志收集的开关项；若所述开关项为是，则应用系统通过所述工具包，调用部署在服务端的目标模型；通过所述工具包，生成目标模型的访问记录数据；通过所述工具包，将访问记录数据存储至服务端；若所述开关项为否，则通过所述应用系统，生成目标模型的访问记录数据，并将访问记录数据存储至服务端；这种处理方式，使得应用系统可控制是否由模型访问工具包自动收集模型访问记录数据；因此，可以有效确保应用系统的数据安全性。

第二十四实施例

与上述的模型管理系统相对应，本申请还提供一种模型管理方法，该方法的执行主体包括但不限于部署有机器学习模型的服务端。本实施例与第二十三实施例内容相同的部分不再赘述，请参见实施例二十三中的相应部分。

本申请提供的模型管理方法，可包括如下步骤：

步骤1：确定应用系统使用模型访问工具包针对目标模型进行日志收集的开关项，以便于若所述应用系统对目标模型的所述开关项为是，则所述应用系统通过模型访问工具包，生成目标模型的访问记录数据，并通过所述工具包，将访问记录数据存储至服务端；若所述开关项为否，则通过所述应用系统，生成目标模型的访问记录数据，并将访问记录数据存储至服务端。

从上述实施例可见，本申请实施例提供的模型管理方法，通过服务端确定应用系统使用模型访问工具包针对目标模型进行日志收集的开关项，以便于若所述应用系统对目标模型的所述开关项为是，则所述应用系统通过模型访问工具包，生成目标模型的访问记录数据，并通过所述工具包，将访问记录数据存储至服务端；若所述开关项为否，则通过所述应用系统，生成目标模型的访问记录数据，并将访问记录数据存储至服务端；这种处理方式，使得应用系统可控制是否由模型访问工具包自动收集模型访问记录数据；因此，可以有效确保应用系统的数据安全性。

第二十五实施例

与上述的模型管理系统相对应，本申请还提供一种模型管理方法，该方法的执行主体包括但不限于部署有应用系统的设备，也可以是管理应用系统的客户端。本实施例与第一实施例内容相同的部分不再赘述，请参见实施例一中的相应部分。

本申请提供的模型管理方法，可包括如下步骤：

步骤1：应用系统确定使用模型访问工具包针对目标模型进行日志收集的日志收集权限；

步骤2：应用系统通过所述工具包，调用部署在服务端的目标模型；

步骤3：通过所述工具包，生成符合所述日志收集权限的访问记录数据；

步骤4：通过所述工具包，将访问记录数据存储至服务端。

在本实施例中，所述应用系统还可设置日志收集权限；通过所述工具包，生成符合所述日志收集权限的访问记录数据。下表示出了本实施例中应用系统的日志收集权限配置信息。

例如，一级权限可收集用户数据(如IP地址、设备标识等)，二级权限不能收集用户数据，只能收集延时RT等数据。

从上述实施例可见，本申请实施例提供的模型管理方法，通过应用系统确定使用模型访问工具包针对目标模型进行日志收集的日志收集权限；应用系统通过所述工具包，调用部署在服务端的目标模型；通过所述工具包，生成符合所述日志收集权限的访问记录数据；通过所述工具包，将访问记录数据存储至服务端；这种处理方式，使得应用系统可控制模型访问工具包可自动收集哪些模型访问记录数据，不能收集哪些模型访问记录数据；因此，可以进一步提升应用系统的数据安全性。

第二十六实施例

与上述的模型管理系统相对应，本申请还提供一种模型管理方法，该方法的执行主体包括但不限于部署有机器学习模型的服务端。本实施例与第二十五实施例内容相同的部分不再赘述，请参见实施例二十五中的相应部分。

本申请提供的模型管理方法，可包括如下步骤：

步骤1：确定应用系统使用模型访问工具包针对目标模型进行日志收集的日志收集权限，以便于所述应用系统通过所述工具包，生成符合所述日志收集权限的针对目标模型的访问记录数据。

从上述实施例可见，本申请实施例提供的模型管理方法，通过服务端确定应用系统使用模型访问工具包针对目标模型进行日志收集的日志收集权限，以便于所述应用系统通过所述工具包，生成符合所述日志收集权限的针对目标模型的访问记录数据；这种处理方式，使得应用系统可控制模型访问工具包可自动收集哪些模型访问记录数据，不能收集哪些模型访问记录数据；因此，可以进一步提升应用系统的数据安全性。

第二十七实施例

与上述的模型管理系统相对应，本申请还提供一种模型管理方法，该方法的执行主体包括但不限于部署有应用系统的设备，也可以是管理应用系统的客户端。本实施例与第一实施例内容相同的部分不再赘述，请参见实施例一中的相应部分。

本申请提供的模型管理方法，可包括如下步骤：

步骤1：若满足本地模型调用条件，则应用系统调用部署在应用系统本地的目标模型，生成本地模型的第一访问记录数据，将第一访问记录数据存储至服务端；

步骤2：若不满足所述条件，则应用系统通过模型访问工具包，调用部署在服务端的目标模型；通过所述工具包，生成服务端模型的第二访问记录数据；通过所述工具包，将第二访问记录数据存储至服务端，以便于服务端根据第一访问记录数据、和第二访问记录数据，管理所述目标模型。

在本实施例中，所述应用系统若满足本地模型调用条件，则应用系统调用部署在应用系统本地的目标模型，生成本地模型的访问记录数据，将本地模型的访问记录数据存储至服务端，以便于服务端根据本地模型的访问记录数据、和服务端模型的访问记录数据，管理所述目标模型。

所述满足本地模型调用条件，包括但不限于：调用部署在服务端的目标模型失败，收到服务端发送的目标模型访问异常信息，等等。

从上述实施例可见，本申请实施例提供的模型管理方法，通过若满足本地模型调用条件，则应用系统调用部署在应用系统本地的目标模型，生成本地模型的第一访问记录数据，将第一访问记录数据存储至服务端；若不满足所述条件，则应用系统通过模型访问工具包，调用部署在服务端的目标模型；通过所述工具包，生成服务端模型的第二访问记录数据；通过所述工具包，将第二访问记录数据存储至服务端，以便于服务端根据第一访问记录数据、和第二访问记录数据，管理所述目标模型；这种处理方式，使得离线模型访问记录数据与在线模型访问记录数据统一记录，这样可以根据更为全面的模型访问记录数据，对模型进行管理；因此，可以有效提升模型管理的准确度。

第二十八实施例

与上述的模型管理系统相对应，本申请还提供一种模型管理方法，该方法的执行主体包括但不限于部署有机器学习模型的服务端。本实施例与第二十七实施例内容相同的部分不再赘述，请参见实施例二十七中的相应部分。

本申请提供的模型管理方法，可包括如下步骤：

步骤1：部署多个机器学习模型，并响应客户端发送的应用系统对目标模型的调用请求；

步骤2：根据部署在应用系统本地的目标模型的第一访问记录数据、和部署在服务端的目标模型的第二访问记录数据，确定目标模型的使用状态数据；

步骤3：根据所述状态数据，管理所述目标模型。

从上述实施例可见，本申请实施例提供的模型管理方法，通过部署多个机器学习模型，并响应客户端发送的应用系统对目标模型的调用请求；根据部署在应用系统本地的目标模型的第一访问记录数据、和部署在服务端的目标模型的第二访问记录数据，确定目标模型的使用状态数据；根据所述状态数据，管理所述目标模型；这种处理方式，使得离线模型访问记录数据与在线模型访问记录数据统一记录，这样可以根据更为全面的模型访问记录数据，对模型进行管理；因此，可以有效提升模型管理的准确度。

第二十九实施例

与上述的模型管理系统相对应，本申请还提供一种模型管理方法，该方法的执行主体包括但不限于部署有应用系统的设备，也可以是管理应用系统的客户端。本实施例与第一实施例内容相同的部分不再赘述，请参见实施例一中的相应部分。

本申请提供的模型管理方法，可包括如下步骤：

步骤1：向服务端发送针对目标模型的访问记录报表生成请求；所述访问记录数据采用如下方式收集：应用系统通过模型访问工具包，调用部署在服务端的目标模型；通过所述工具包，生成目标模型的访问记录数据；通过所述工具包，将访问记录数据存储至服务端；

步骤2：展示服务端回送的目标模型的访问记录报表。

在本实施例中，所述应用系统向服务端发送针对目标模型的访问记录报表生成请求，并展示服务端回送的目标模型的访问记录报表。

在一个示例中，请求方为应用系统的管理员，该管理员可指定报表格式(如报表模板)，不同格式的报表可包括不同形式的数据，服务端生成符合应用系统所需格式的报表。

在另一个示例中，请求方也可以是某个模型的管理员，该管理员可管理该模型的所有访问数据，其可指定针对该模型的所有访问数据的特定报表模版，该模板可包括基于该模型的所有访问数据得到的统计数据。

在又一个示例中，请求方也可以是模型管理平台的超级管理员，该管理员可管理所有模型的所有访问数据，其可指定针对所有模型的所有访问数据的特定报表模版，该模板可包括基于所有模型的所有访问数据得到的统计数据。

从上述实施例可见，本申请实施例提供的模型管理方法，通过向服务端发送针对目标模型的访问记录报表生成请求；所述访问记录数据采用如下方式收集：应用系统通过模型访问工具包，调用部署在服务端的目标模型；通过所述工具包，生成目标模型的访问记录数据；通过所述工具包，将访问记录数据存储至服务端；展示服务端回送的目标模型的访问记录报表；这种处理方式，使得不同用户可查看不同格式、不同内容的模型访问记录报表；因此，可以有效提升模型管理效率。

第三十实施例

与上述的模型管理系统相对应，本申请还提供一种模型管理方法，该方法的执行主体包括但不限于部署有机器学习模型的服务端。本实施例与第一实施例内容相同的部分不再赘述，请参见实施例一中的相应部分。

本申请提供的模型管理方法，可包括如下步骤：

步骤1：接收应用系统发送的针对目标模型的访问记录报表生成请求；

步骤2：生成与所述应用系统对应的目标模型的访问记录报表。

在一个示例中，所述方法还可包括如下步骤：确定与所述应用系统对应的报表模板；根据所述报表模板，生成所述访问记录报表。

从上述实施例可见，本申请实施例提供的模型管理方法，通过接收应用系统发送的针对目标模型的访问记录报表生成请求；生成与所述应用系统对应的目标模型的访问记录报表；这种处理方式，使得不同用户可查看不同格式、不同内容的模型访问记录报表；因此，可以有效提升模型管理效率。

本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (44)

1.一种模型管理系统，其特征在于，包括：

服务端，用于部署多个机器学习模型，响应应用系统对目标模型的调用请求；以及，根据目标模型的访问记录数据，确定目标模型的使用状态数据；根据所述状态数据，管理所述目标模型；

客户端，用于应用系统通过模型访问工具包，调用目标模型，并生成目标模型的访问记录数据，并将访问记录数据存储至服务端。

2.一种模型管理系统，其特征在于，包括：

第一服务端，用于部署多个机器学习模型，响应应用系统对目标模型的调用请求；以及，根据第二服务端存储的目标模型的访问记录数据，确定目标模型的使用状态数据；根据所述状态数据，管理所述目标模型；

第二服务端，用于存储所述多个机器学习模型的访问记录数据；

客户端，用于应用系统通过模型访问工具包，发送所述调用指令，并生成目标模型的访问记录数据，并将访问记录数据存储至第二服务端。

3.根据权利要求2所述的方法，其特征在于，还包括：

第三服务端，用于存储第二服务端访问参数配置信息；

客户端，还用于应用系统通过模型访问工具包，从第三服务端获取所述配置信息，根据所述配置信息与第二服务端建立连接。

4.一种模型管理方法，其特征在于，包括：

应用系统通过模型访问工具包，调用部署在服务端的目标模型；

通过所述工具包，生成目标模型的访问记录数据；

通过所述工具包，将访问记录数据存储至服务端。

5.根据权利要求4所述的方法，其特征在于，所述将访问记录数据存储至服务端，包括：

通过第一线程，将访问记录数据写入缓存日志队列；

通过第二线程组，从缓存日志队列读取访问记录数据，并连接服务端执行写入操作。

6.根据权利要求4所述的方法，其特征在于，还包括：

接收服务端发送的模型访问异常信息；

展示所述异常信息。

7.根据权利要求6所述的方法，其特征在于，

所述异常信息包括：每秒请求数QPS异常信息，访问时延RT异常信息。

8.根据权利要求4所述的方法，其特征在于，还包括：

向服务端发送针对目标模型的访问记录查询请求；

展示服务端回送的目标模型的访问记录数据。

9.根据权利要求4所述的方法，其特征在于，

所述访问记录数据包括：访问时延；

所述访问时延包括：服务端访问时延和网络时延。

10.一种模型管理方法，其特征在于，包括：

向服务端发送针对目标模型的访问记录数据获取请求；所述访问记录数据采用如下方式收集：应用系统通过模型访问工具包，调用部署在服务端的目标模型；通过所述工具包，生成目标模型的访问记录数据；通过所述工具包，将访问记录数据存储至服务端；

展示服务端回送的符合访问权限的访问记录数据。

11.一种模型管理方法，其特征在于，包括：

应用系统确定使用模型访问工具包针对目标模型进行日志收集的开关项；

若所述开关项为是，则应用系统通过所述工具包，调用部署在服务端的目标模型；通过所述工具包，生成目标模型的访问记录数据；通过所述工具包，将访问记录数据存储至服务端；

若所述开关项为否，则通过所述应用系统，生成目标模型的访问记录数据，并将访问记录数据存储至服务端。

12.一种模型管理方法，其特征在于，包括：

应用系统确定使用模型访问工具包针对目标模型进行日志收集的日志收集权限；

应用系统通过所述工具包，调用部署在服务端的目标模型；

通过所述工具包，生成符合所述日志收集权限的访问记录数据；

通过所述工具包，将访问记录数据存储至服务端。

13.一种模型管理方法，其特征在于，包括：

若满足本地模型调用条件，则应用系统调用部署在应用系统本地的目标模型，生成本地模型的第一访问记录数据，将第一访问记录数据存储至服务端；

若不满足所述条件，则应用系统通过模型访问工具包，调用部署在服务端的目标模型；通过所述工具包，生成服务端模型的第二访问记录数据；通过所述工具包，将第二访问记录数据存储至服务端，以便于服务端根据第一访问记录数据、和第二访问记录数据，管理所述目标模型。

14.一种模型管理方法，其特征在于，包括：

向服务端发送针对目标模型的访问记录报表生成请求；所述访问记录数据采用如下方式收集：应用系统通过模型访问工具包，调用部署在服务端的目标模型；通过所述工具包，生成目标模型的访问记录数据；通过所述工具包，将访问记录数据存储至服务端；

展示服务端回送的目标模型的访问记录报表。

15.一种模型管理方法，其特征在于，包括：

部署多个机器学习模型，并响应客户端发送的应用系统对目标模型的调用请求；

根据目标模型的访问记录数据，确定目标模型的使用状态数据；

根据所述状态数据，管理所述目标模型。

16.根据权利要求15所述的方法，其特征在于，所述根据所述状态数据，管理所述目标模型，包括：

若所述状态数据满足模型访问异常条件，则生成模型访问异常信息；

向客户端发送所述异常信息。

17.根据权利要求16所述的方法，其特征在于，

所述状态数据包括：每秒请求数QPS；

所述若所述状态数据满足模型访问异常条件，则生成模型访问异常信息，包括：

若QPS大于QPS阈值，则生成QPS异常信息。

18.根据权利要求16所述的方法，其特征在于，

所述状态数据包括：访问时延RT；

所述若所述状态数据满足模型访问异常条件，则生成模型访问异常信息，包括：

若RT大于RT阈值，则生成RT异常信息。

19.根据权利要求15所述的方法，其特征在于，还包括：

接收客户端发送的针对目标模型的访问记录查询请求；

向客户端回送目标模型的访问记录数据。

20.一种模型管理方法，其特征在于，包括：

接收客户端发送的针对目标模型的访问记录数据获取请求；

确定符合访问权限的目标模型的访问记录数据；

向客户端回送符合访问权限的访问记录数据。

21.一种模型管理方法，其特征在于，包括：

确定应用系统使用模型访问工具包针对目标模型进行日志收集的开关项，以便于若所述应用系统对目标模型的所述开关项为是，则所述应用系统通过模型访问工具包，生成目标模型的访问记录数据，并通过所述工具包，将访问记录数据存储至服务端；若所述开关项为否，则通过所述应用系统，生成目标模型的访问记录数据，并将访问记录数据存储至服务端。

22.一种模型管理方法，其特征在于，包括：

确定应用系统使用模型访问工具包针对目标模型进行日志收集的日志收集权限，以便于所述应用系统通过所述工具包，生成符合所述日志收集权限的针对目标模型的访问记录数据。

23.一种模型管理方法，其特征在于，包括：

部署多个机器学习模型，并响应客户端发送的应用系统对目标模型的调用请求；

根据部署在应用系统本地的目标模型的第一访问记录数据、和部署在服务端的目标模型的第二访问记录数据，确定目标模型的使用状态数据；

根据所述状态数据，管理所述目标模型。

24.一种模型管理方法，其特征在于，包括：

接收应用系统发送的针对目标模型的访问记录报表生成请求；

生成与所述应用系统对应的目标模型的访问记录报表。

25.根据权利要求24所述的方法，其特征在于，还包括：

确定与所述应用系统对应的报表模板；

根据所述报表模板，生成所述访问记录报表。

26.一种模型管理方法，其特征在于，包括：

应用系统通过模型访问工具包，调用部署在第一服务端的目标模型；

通过所述工具包，生成目标模型的访问记录数据；

通过所述工具包，将访问记录数据存储至第二服务端。

27.根据权利要求26所述的方法，其特征在于，还包括：

通过所述工具包，从第三服务端获取第二服务端访问参数配置信息；

根据所述配置信息，与第二服务端建立连接。

28.根据权利要求27所述的方法，其特征在于，还包括：

接收第三服务端发送的配置信息更新消息；

根据更新后的配置消息，与第二服务端建立连接。

29.根据权利要求27所述的方法，其特征在于，

所述配置信息包括：第二服务端的访问地址，安全认证信息。

30.一种模型管理方法，其特征在于，包括：

部署多个机器学习模型，并响应客户端发送的应用系统对目标模型的调用请求；

根据第二服务端存储的目标模型的访问记录数据，确定目标模型的使用状态数据；

根据所述状态数据，管理所述目标模型。

31.一种模型管理方法，其特征在于，包括：

接收应用系统通过模型访问工具包发送的针对目标模型的访问记录数据；

存储所述访问记录数据。

32.一种模型管理方法，其特征在于，包括：

接收针对第二服务端的访问参数配置请求；

存储配置项标识与第二服务端访问参数间的对应关系。

33.一种模型管理装置，其特征在于，包括：

模型调用单元，用于应用系统通过模型访问工具包，调用部署在服务端的目标模型；

日志生成单元，用于通过所述工具包，生成目标模型的访问记录数据；

日志存储单元，用于通过所述工具包，将访问记录数据存储至服务端。

34.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储实现模型管理方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：应用系统通过模型访问工具包，调用部署在服务端的目标模型；通过所述工具包，生成目标模型的访问记录数据；通过所述工具包，将访问记录数据存储至服务端。

35.一种模型管理装置，其特征在于，包括：

模型服务单元，用于部署多个机器学习模型，并响应客户端发送的应用系统对目标模型的调用请求；

模型使用状态确定单元，用于根据目标模型的访问记录数据，确定目标模型的使用状态数据；

模型管理单元，用于根据所述状态数据，管理所述目标模型。

36.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储实现模型管理方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：部署多个机器学习模型，并响应客户端发送的应用系统对目标模型的调用请求；根据目标模型的访问记录数据，确定目标模型的使用状态数据；根据所述状态数据，管理所述目标模型。

37.一种模型管理装置，其特征在于，包括：

模型调用单元，用于应用系统通过模型访问工具包，调用部署在第一服务端的目标模型；

日志生成单元，用于通过所述工具包，生成目标模型的访问记录数据；

日志存储单元，用于通过所述工具包，将访问记录数据存储至第二服务端。

38.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储实现模型管理方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：应用系统通过模型访问工具包，调用部署在第一服务端的目标模型；通过所述工具包，生成目标模型的访问记录数据；通过所述工具包，将访问记录数据存储至第二服务端。

39.一种模型管理装置，其特征在于，包括：

模型服务单元，用于部署多个机器学习模型，并响应客户端发送的应用系统对目标模型的调用请求；

模型使用状态确定单元，用于根据第二服务端存储的目标模型的访问记录数据，确定目标模型的使用状态数据；

模型管理单元，用于根据所述状态数据，管理所述目标模型。

40.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储实现模型管理方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：部署多个机器学习模型，并响应客户端发送的应用系统对目标模型的调用请求；根据第二服务端存储的目标模型的访问记录数据，确定目标模型的使用状态数据；根据所述状态数据，管理所述目标模型。

41.一种模型管理装置，其特征在于，包括：

日志接收单元，用于接收应用系统通过模型访问工具包发送的针对目标模型的访问记录数据；

日志存储单元，用于存储所述访问记录数据。

42.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储实现模型管理方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：接收应用系统通过模型访问工具包发送的针对目标模型的访问记录数据；存储所述访问记录数据。

43.一种模型管理装置，其特征在于，包括：

请求接收单元，用于接收针对第二服务端的访问参数配置请求；

参数配置单元，用于存储配置项标识与第二服务端访问参数间的对应关系。

44.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储实现模型管理方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：接收针对第二服务端的访问参数配置请求；存储配置项标识与第二服务端访问参数间的对应关系。

Images