CN112561332B - 模型管理方法、装置、电子设备、存储介质和程序产品 - Google Patents

Abstract

本申请公开了模型管理方法、装置、电子设备、存储介质和程序产品，涉及人工智能技术领域。具体实现方案为：获取模型集合中的模型的参数信息，所述参数信息用于表示所述模型被使用时所对应的资源类型；在所述模型集合中存在参数信息满足第一条件的目标模型的情况下，针对所述目标模型执行下线处理。本公开可以提高模型的管理效率。

Description

模型管理方法、装置、电子设备、存储介质和程序产品

技术领域

本公开涉及计算机技术领域，尤其涉及人工智能技术。

背景技术

在人工智能时代，各种各样的模型成为了互联网产品和人工智能产品的核心。例如：搜索、推荐、直播、短视频等业务领域均会使用到各种模型，这些模型可以用于计算、分类等处理，如算法模型、分类模型等。目前这些模型上线之后的管理主要是人工进行管理，即每个模型都有对应的负责人进行管理。

发明内容

本公开提供了一种模型管理方法、装置、电子设备、存储介质和程序产品。

根据本公开的一方面，提供了一种模型管理方法，包括：

获取模型集合中的模型的参数信息，所述参数信息用于表示所述模型被使用时所对应的资源类型；

在所述模型集合中存在参数信息满足第一条件的目标模型的情况下，针对所述目标模型执行下线处理。

根据本公开的另一方面，提供了一种模型管理装置，包括：

获取模块，用于获取模型集合中的模型的参数信息，所述参数信息用于表示所述模型被使用时所对应的资源类型；

处理模块，用于在所述模型集合中存在参数信息满足第一条件的目标模型的情况下，针对所述目标模型执行下线处理。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开提供的模型管理方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开提供的模型管理方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开提供的模型管理方法。

根据本公开的技术方案，由于可以将模型集合中存在参数信息满足第一条件的目标模型执行下线处理，从而提高模型的管理效率。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是本公开提供的一种模型管理方法的流程图；

图2是本公开提供的另一种模型管理方法的流程图；

图3是本公开提供的一种模型管理装置的结构图；

图4是本公开提供的另一种模型管理装置的结构图；

图5是用来实现本公开实施例的模型管理方法的电子设备的框图。

实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

请参见图1，图1是本公开提供的一种模型管理方法的流程图，如图1所示，包括以下步骤：

步骤S101、获取模型集合中的模型的参数信息，所述参数信息用于表示所述模型被使用时所对应的资源类型。

上述获取模型集合中的模型的参数信息可以是从数据库或者存储系统中获取模型集合中的模型的参数信息，每个模型都有各自的参数信息。

上述模型被使用时所对应的资源类型可以是，模型被使用时获取到的内容结果所属的资源类型，即该模型影响了该资源类型的资源。例如：搜索过程中使用了某一模型，而使用该模型搜索得到的搜索结果属于医疗资源类型，则该模型此次被使用对应的资源类型为医疗资源类型；又例如：推荐过程中使用了某一模型，而使用该模型搜索得到的推荐结果属于小说资源类型，则该模型此次被使用对应的资源类型为小说资源类型。

需要说明的是，在获取某一内容结果过程可以使用一个或者多个模型，如果使用多个模型，则这多个模型此次被使用对应的资源类型是相同的，因为，对应同一个内容结果。

上述模型集合可以是已上线的模型的集合，例如：微服务架构、云原生架构等架构中的模型。或者上述模型集合可以是服务器、计算机等电子设备中上线的模型。另外，上述模型集合可以是搜索、推荐、直播、短视频等业务服务中上线的模型。

本公开中，模型集合可以包括一种或者多种类型的模型，如包括多个算法模型，还可以包括多个分类模型等。

步骤S102、在所述模型集合中存在参数信息满足第一条件的目标模型的情况下，针对所述目标模型执行下线处理。

上述第一条件可以是预先设置的，例如：模型被使用对应的资源类型为预设资源类型，或者模型被使用对应的资源类型的数目低于预设数目等等条件。

本公开中，通过步骤S102可以将一些资源参数满足预设条件的模型下线。

根据本公开的技术方案，由于可以将模型集合中存在参数信息满足第一条件的目标模型执行下线处理，从而提高模型的管理效率，且还可以降低人工成本，以及节约设备资源，如节约内存资源。另外，由于参数信息用于表示所述模型被使用时所对应的资源类型，这样可以实现根据模型影响的资源类型执行模型下线管理，从而将一些与当前热点资源类型不匹配的模型下线。

需要说明的是，本公开提供的模型管理方法可以应用于服务器、电子设备、手机等电子设备。

作为一种可选的实施方式，所述参数信息包括：

模型标识、资源类型标识和计数信息，其中，所述资源类型标识用于表示所述模型被使用时对应的资源类型，所述计数信息用于表示所述模型在所述资源类型标识表示的每个资源类型中的被使用次数。

本公开中每个模型对应各自的模型标识，如模型号。

资源类型标识可以是资源号，如小说资源、医疗资源、通信资源、智能驾驶资源等资源类型，具体可以根据实际需求预先定义多个资源类型，以及对应的资源类型标识。

上述资源类型标识用于表示所述模型被使用时对应的资源类型可以是，每个模型的资源类型标识用于表示该模型被使用对应的所有资源类型，例如：某一模型在获取医疗资源类型的内容结果时被使用，则该模型的资源类型标识包括医疗资源类型标识，如果该模型在获取智能驾驶资源类型的内容结果时被使用，则该模型的资源类型标识包括智能驾驶资源类型标识。

需要说明的是，如果某一个模型没有被使用，则该模型的资源类型标识表示为空或者为0。

上述计数信息用于表示所述模型在所述资源类型标识表示的每个资源类型中的被使用次数可以是，每个模型可以都有一个或者多个计数值，每个计数值对应一个资源类型，用于表示对应资源类型的计数信息。例如：某一模型在获取医疗资源类型的内容结果时被使用，该模型在获取智能驾驶资源类型的内容结果时被使用，则该模型有两个计数信息，一个用于统计医疗资源类型的被使用次数，一个用于统计智能驾驶资源类型的被使用次数。

需要说明的是，如果某一个模型没有被使用，则该模型的计数信息表示为空或者为0。

通过上述模型标识、资源类型标识和计数信息可以准确地记录每个模型的参数，以进一步提高模型的管理效果。

需要说明的是，本公开并不限定参数信息包括模型标识、资源类型标识和计数信息，例如：也可以只包括模型标识和资源类型标识，该资源类型标识用于表示哪些资源类型使用了该模型。

作为一种可选的实施方式，所述获取模型集合中的模型的参数信息之前，所述方法还包括：

在获取内容结果的情况下，记录获取所述内容结果过程中所使用的至少一个模型，以及将所述至少一个模型在目标资源类型中的使用次数加1，所述内容结果属于所述目标资源类型。

上述获取内容结果可以是，在获取过程中使用了模型得到的内容结果，如使用算法模型得到的计算结果，或者在搜索过程中使用了一个或者多个模型得到的搜索结果，或者在推荐过程中使用了一个或者多个模型得到的推荐结果。

上述将所述至少一个模型在目标资源类型中的使用次数加1可以是，将这至少一个模型在上述内容结果所属的资源类型的使用次数加1。例如：每个内容结果归属一个资源类型，以资源类型标识（如资源号）区分，如果某一个模型参与了某一内容结果的计算，则记录该内容结果归属的资源类型的资源类型标识，并为该模型的该资源类型的引用计数器加1。

另外，上述记录的信息可以是周期性存储，例如：周期性将记录的信息写入到日志或者消息队列中，其中，记录的信息包含：资源类型标识、模型标识和计数信息。

该实施方式中，由于在获取内容结果的情况下，记录获取内容结果过程中所使用的至少一个模型，以及将至少一个模型在目标资源类型中的使用次数加1，从而可以准确、及时地记录每个模型的参数信息。

作为一种可选的实施方式，所述第一条件包括：

模型被使用时所对应的资源类型的数目小于或者等于第一阈值；或者

模型被使用时所对应的资源类型的资源的展现情况为预设资源展现情况。

其中，上述第一阈值可以是预先设置的，例如：0。另外，上述模型被使用时所对应的资源类型的数目小于或者等于第一阈值可以是，在一定时间段内模型被使用时所对应的资源类型的数目小于或者等于第一阈值。例如：统计模型的参数信息可以是统计设定时间段内的总和，如按照7日或者14日的维度统计模型的参数信息，如果过去7日或14日的模型被使用时所对应的资源类型的数目为0，那么针对这个模型执行自动下线。

该实施方式中，可以将模型被使用时所对应的资源类型的数目小于或者等于第一阈值的模型执行下线处理，从而实现模型的自动下线。

上述模型被使用时所对应的资源类型的资源的展现情况可以是，这些资源类型的资源向用户终端展现的情况，如在搜索或者推荐应用中资源向用户终端展现的情况，如果某一资源类型向用户终端展现的多次，则该资源的展现情况可以表示这多次，如果某一资源类型在设定时段向用户终端展现为0次，则该资源的展现情况可以表示不存在资源展现机会。

可选的，所述预设资源展现情况包括：

不存在资源展现机会；或者

资源展现占比小于或者等于第二阈值。

上述不存在资源展现机会可以是设定时段内资源展现次数为0。

上述资源展现占比可以是资源类型中被展现的资源在该资源类型中总资源的占比。上述第二阈值预先设定的，如：万分之一、万分之五等。例如：如果某一资源类型的展现占比低于一定阈值，比如万分之一，则可以自动下线。

该实施方式中，在资源展现占比小于或者等于第二阈值的情况下，可以进一步执行人工确认，如某一资源类型的展现占比低于一定阈值，比如万分之一，则可以转人工确认，人工确认后会下线或者继续保留在线上。

需要说明的是，本公开中并不限定所述预设资源展现情况包括：不存在资源展现机会，或者，资源展现占比小于或者等于第二阈值，例如：还包括展现次数低于第三阈值。

该实施方式中，可以将模型被使用时所对应的资源类型的资源的展现情况为预设资源展现情况的模型执行下线处理，从而实现模型的自动下线管理。

进一步的，本公开可以先判断模型被使用时所对应的资源类型的数目是否小于或者等于第一阈值，如果小于或者等于第一阈值则执行下线处理，如果大于第一阈值，则进一步判断模型被使用时所对应的资源类型的资源的展现情况为预设资源展现情况，如果为预设资源展现情况，则执行下线处理。

根据本公开的技术方案，由于可以将模型集合中存在参数信息满足第一条件的目标模型执行下线处理，从而提高模型的管理效率。且由于下线了一模型，从而可以节省电子设备内存空间，如通过实验证明下线接近100个模型，可以节省内存数超过20TB。

请参见图2，图2是本公开提供的另一种模型管理方法的流程图，如图2所示，包括以下步骤：

步骤S201、统计模型的参数信息，其中，所述参数信息包括：模型标识、资源类型标识和计数信息。具体请参见图1所示的实施例的相应说明，此处不作赘述。

步骤S202、周期性将参数信息写入日志或者消息队列。

步骤S203、汇聚日志或者消息队列，并将汇聚的参数信息存入数据库或者存储系统。

该汇聚可以是汇聚多个模型对应的日志或者消息队列。

步骤S204、展示数据库或者存储系统中的参数信息。

在展示参数信息后，可以接受人工发起的判断模型是否需要下线的流程，接受后执行步骤S205，当然，也可以不展示，如周期性执行判断模型是否需要下线的流程

步骤S205、判断模型的资源类型标识是否表示0个资源类型。

资源类型标识表示0个资源类型可以理解为，未被任何资源类型使用，即影响资源类型数为0。且该步骤可以针对每个模型单独执行。

步骤S206、如果模型的资源类型标识表示0个资源类型，则针对该模型执行自动下线。

步骤S207、如果模型的资源类型标识不表示0个资源类型，则计算该模型被使用时所对应的资源类型的资源的展现情况。

步骤S208、判断上述展现情况是否为预设资源展现情况。

如判断资源的展现次数是否为0或者小于预设阈值。

如果展现情况为预设资源展现情况，则执行步骤S207，即针对该模型执行自动下线。

步骤S209、如果展现情况不为预设资源展现情况，则执行人工判断。

当然，如果展现情况为预设资源展现情况，也可以执行人工判断，即人工判断模型是否下线。

通过上述步骤可以实现自动下线一些模型，从而提高模型的管理效率。

请参见图3，图3是本公开提供的一种模型管理装置，如图3所示，模型管理装置300包括：

获取模块301，用于获取模型集合中的模型的参数信息，所述参数信息用于表示所述模型被使用时所对应的资源类型；

处理模块302，用于在所述模型集合中存在参数信息满足第一条件的目标模型的情况下，针对所述目标模型执行下线处理。

可选的，所述参数信息包括：

模型标识、资源类型标识和计数信息，其中，所述资源类型标识用于表示所述模型被使用时对应的资源类型，所述计数信息用于表示所述模型在所述资源类型标识表示的每个资源类型中的被使用次数。

可选的，如图4所示，所述装置还包括：

记录模块303，用于在获取内容结果的情况下，记录获取所述内容结果过程中所使用的至少一个模型，以及将所述至少一个模型在目标资源类型中的使用次数加1，所述内容结果属于所述目标资源类型。

可选的，所述第一条件包括：

模型被使用时所对应的资源类型的数目小于或者等于第一阈值；或者

模型被使用时所对应的资源类型的资源的展现情况为预设资源展现情况。

可选的，所述预设资源展现情况包括：

不存在资源展现机会；或者

资源展现占比小于或者等于第二阈值。

本实施例提供的装置能够实现图1所示的方法实施例中实现的各个过程，且可以达到相同有益效果，为避免重复，这里不再赘述。

根据本公开的实施例，本公开还提供了一种电子设备和一种存储有计算机指令的非瞬时计算机可读存储介质。

如图5所示，是根据本公开实施例的模型管理方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图5所示，该电子设备包括：一个或多个处理器501、存储器502，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置（诸如，耦合至接口的显示设备）上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作（例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统）。图5中以一个处理器501为例。

存储器502即为本公开所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本公开所提供的模型管理方法。本公开的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本公开所提供的模型管理方法。

存储器502作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本公开实施例中的模型管理方法对应的程序指令/模块（例如，附图3所示的获取模块301和处理模块302）。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的模型管理方法。

存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据模型管理方法的电子设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至模型管理方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

模型管理方法的电子设备还可以包括：输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接，图5中以通过总线连接为例。

输入装置503可接收输入的数字或字符信息，以及产生与模型管理方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置（例如，LED）和触觉反馈装置（例如，振动电机）等。该显示设备可以包括但不限于，液晶显示器（LCD）、发光二极管（LED）显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC（专用集成电路）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序（也称作程序、软件、软件应用、或者代码）包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置（例如，磁盘、光盘、存储器、可编程逻辑装置（PLD）），包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

本公开提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开提供的模型管理方法。

根据本公开的技术方案，由于可以将模型集合中存在参数信息满足第一条件的目标模型执行下线处理，从而提高模型的管理效率。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (10)

1.一种模型管理方法，包括：

获取模型集合中的模型的参数信息，所述参数信息用于表示所述模型被使用时所对应的资源类型，所述资源类型为模型被使用时获取到的内容结果所属的资源类型；

在所述模型集合中存在参数信息满足第一条件的目标模型的情况下，针对所述目标模型执行下线处理；

其中，所述参数信息包括：

模型标识、资源类型标识和计数信息，其中，所述资源类型标识用于表示所述模型被使用时对应的资源类型，所述计数信息用于表示所述模型在所述资源类型标识表示的每个资源类型中的被使用次数。

2.根据权利要求1所述的方法，所述获取模型集合中的模型的参数信息之前，所述方法还包括：

在获取内容结果的情况下，记录获取所述内容结果过程中所使用的至少一个模型，以及将所述至少一个模型在目标资源类型中的使用次数加1，所述内容结果属于所述目标资源类型。

3. 根据权利要求1所述的方法，其中，所述第一条件包括：

模型被使用时所对应的资源类型的数目小于或者等于第一阈值；或者

模型被使用时所对应的资源类型的资源的展现情况为预设资源展现情况。

4. 根据权利要求3所述的方法，其中，所述预设资源展现情况包括：

不存在资源展现机会；或者

资源展现占比小于或者等于第二阈值。

5.一种模型管理装置，包括：

获取模块，用于获取模型集合中的模型的参数信息，所述参数信息用于表示所述模型被使用时所对应的资源类型，所述资源类型为模型被使用时获取到的内容结果所属的资源类型；

处理模块，用于在所述模型集合中存在参数信息满足第一条件的目标模型的情况下，针对所述目标模型执行下线处理；

其中，所述参数信息包括：

模型标识、资源类型标识和计数信息，其中，所述资源类型标识用于表示所述模型被使用时对应的资源类型，所述计数信息用于表示所述模型在所述资源类型标识表示的每个资源类型中的被使用次数。

6.根据权利要求5所述的装置，所述装置还包括：

记录模块，用于在获取内容结果的情况下，记录获取所述内容结果过程中所使用的至少一个模型，以及将所述至少一个模型在目标资源类型中的使用次数加1，所述内容结果属于所述目标资源类型。

7. 根据权利要求5所述的装置，其中，所述第一条件包括：

模型被使用时所对应的资源类型的数目小于或者等于第一阈值；或者

模型被使用时所对应的资源类型的资源的展现情况为预设资源展现情况。

8. 根据权利要求7所述的装置，其中，所述预设资源展现情况包括：

不存在资源展现机会；或者

资源展现占比小于或者等于第二阈值。

9. 一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任一项所述的方法。

10.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-4中任一项所述的方法。