CN110795398A - 一种模型文件调用系统及方法 - Google Patents

Abstract

本申请提供了一种模型调用系统及方法，其中，系统包括：应用服务器、分布式文件系统和数据库，应用服务器分别与分布式文件系统和数据库连接。分布式文件系统用于存储至少部分模型文件，数据库用于存储至少部分模型文件的配置参数间的对应关系，配置参数包括：模型文件的预设标识与模型文件在分布式文件系统中的预设存储路径。应用服务器用于依据待调用模型文件的标识以及对应关系，确定待调用模型文件的存储路径。应用服务器还用于从待调用模型文件的存储路径下，调用待调用模型文件。在本申请中，在部署模型的过程中，无需重启应用服务器。

Description

一种模型文件调用系统及方法

技术领域

本申请涉及电子信息领域，尤其涉及一种模型文件调用系统及方法。

背景技术

模型为采用预设的机器学习算法对预设样本进行训练得到的模型，例如，用于打分的模型。模型的文件(以下简称模型文件)通常被应用服务器中的应用程序调用，应用服务器运行被调用的模型文件实现模型的功能。

目前，一般将待上线的模型文件部署在应用服务器中，新上线模型的过程包括：在应用服务器中修改模型的应用配置参数。在完成对应用配置参数的修改后，重启该应用服务器使得修改完成的配置参数生效。

但是，在应用服务器重启的过程中，应用程序不能调用应用服务器中的模型文件，进而影响用户体验。

发明内容

本申请提供了一种模型文件调用系统及方法，目的在于解决在部署模型文件的过程中需重启应用服务器的问题。

为了实现上述目的，本申请提供了以下技术方案：

本申请提供了一种模型文件调用系统，包括：应用服务器、分布式文件系统和数据库；所述应用服务器分别与所述分布式文件系统和所述数据库连接；

所述分布式文件系统，用于存储至少部分模型文件；

所述数据库，用于存储所述至少部分模型文件的配置参数间的对应关系；所述配置参数包括：所述模型文件的预设标识、以及所述模型文件在所述分布式文件系统中的预设存储路径；

所述应用服务器，用于依据待调用模型文件的标识以及所述对应关系，确定所述待调用模型文件的存储路径；

所述应用服务器，还用于从所述待调用模型文件的存储路径下，调用所述待调用模型文件。

可选的，所述分布式文件系统，用于存储至少部分模型文件，包括：

所述分布式文件系统，具体用于存储全部模型文件；

所述数据库，用于存储所述至少部分模型文件的配置参数间的对应关系，包括：

所述数据库，具体用于存储所述全部模型文件的配置参数间的对应关系；

所述应用服务器，用于依据待调用模型文件的标识以及所述对应关系，确定所述待调用模型文件的存储路径，包括：

所述应用服务器，具体用于从所述对应关系中确定与所述待调用模型文件的标识对应的存储路径为所述待调用模型文件的存储路径。

可选的，所述分布式文件系统，用于存储至少部分模型文件，包括：

所述分布式文件系统，具体用于存储在预设时刻之后上线的模型文件；

所述数据库，用于存储所述至少部分模型文件的配置参数间的对应关系，包括：

所述数据库，具体用于存储在所述预设时刻之后上线的模型文件的配置参数间的对应关系；

所述应用服务器，用于依据待调用模型文件的标识以及所述对应关系，确定所述待调用模型文件的存储路径，包括：

所述应用服务器，具体用于在所述对应关系中存在与所述待调用模型文件的标识对应的存储路径的情况下，从所述对应关系中确定与所述待调用模型文件的标识对应的存储路径为所述待调用模型文件的存储路径。

可选的，所述应用服务器，还用于存储在所述预设时刻之前上线的模型文件；

所述应用服务器，还用于在所述对应关系中不存在与所述待调用模型文件的标识对应的存储路径的情况下，从所述应用服务器确定所述待调用模型文件的存储路径，并从所述应用服务器中调用所述待调用模型文件。

可选的，所述模型文件为用于进行评分的模型的文件。

本申请还提供了一种模型文件的调用方法，包括：

获取待调用模型文件的预设标识；

依据所述预设标识与预设对应关系，确定所述待调用模型文件的存储路径；所述预设对应关系为数据库中存储的至少部分模型文件的配置参数间的对应关系；所述至少部分模型文件存储在分布式文件系统；所述配置参数包括：预设标识以及在所述分布式文件系统中的存储路径；

从所述调用模型文件的存储路径下，调用所述待调用模型文件。

可选的，所述分布式文件系统中存储全部模型文件；所述数据库中存储所述全部模型文件的配置参数间的对应关系；

所述依据所述预设标识与预设对应关系，确定所述待调用模型文件的存储路径，包括：

从所述对应关系中确定与所述预设标识对应的存储路径为所述待调用模型文件的存储路径。

可选的，所述分布式文件系统中存储在预设时刻之后上线的模型文件；所述数据库中存储在所述预设时刻之后上线的模型文件的配置参数间的对应关系；

所述依据所述预设标识与预设对应关系，确定所述待调用模型文件的存储路径，包括：

在所述预设对应关系中存在所述预设标识对应的存储路径的情况下，从所述预设对应关系中确定与所述预设标识对应的存储路径为所述待调用模型文件的存储路径。

可选的，所述应用服务器中存储在所述预设时刻之前上线的模型文件，在所述从所述调用模型文件的存储路径下，调用所述待调用模型文件之前，还包括：

在所述预设对应关系中不存在所述预设标识对应的存储路径的情况下，确定所述待调用模型文件在所述应用服务器中的存储路径为所述待调用模型文件的存储路径。

可选的，还包括：

接收目标模型文件；所述目标模型文件为待存储的上线模型文件；

保存所述目标模型文件的预设标识与所述目标模型文件的预设存储路径间的对应关系。

本申请所述的模型文件调用系统包括应用服务器、分布式文件系统和数据库，应用服务器分别与分布式文件系统和数据库连接。其中，分布式文件系统用于存储至少部分模型文件，数据库用于存储该至少部分模型文件的配置参数间的对应关系，其中，配置参数包括：模型文件的预设标识与模型文件在分布式文件系统中的预设存储路径。应用服务器用于依据待调用模型文件的标识以及对应关系，确定待调用模型文件的存储路径，以及从待调用模型文件的存储路径下，调用待调用模型文件。

本申请中，由于模型文件存储在分布式文件系统，且模型文件的配置参数存储在数据库中，所以，在新上线模型文件的过程中，在数据库中修改配置参数即可，使得模型文件的部署过程与应用服务器没有关系，进而，在部署模型文件的过程中应用服务器还可以从分布式文件系统中调用模型文件。因此，通过本申请提供的方案，可以解决现有技术中在部署模型的过程中，需要重启应用服务器，影响用户体验的问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例公开的一种模型文件调用系统的结构示意图；

图2为本申请实施例公开的一种模型文件上线页面的示意图；

图3为本申请实施例公开的一种模型文件调用方法的流程图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为本申请实施例提供的一种模型文件调用系统，包括：应用服务器101、分布式文件系统102和数据库103，其中，应用服务器101分别与分布式文件系统102和数据库103连接。其中，分布式文件系统102可以为Hadoop分布式文件系统，数据库103可以为Mysql数据库。

在实际中，当采用本申请实施例提供的模型文件调用系统时，当前，应用服务器中可能已存储有一些模型文件，在该情况下，可以采用两种方案。其中，第一种方案：将应用服务器中已存储的模型文件搬移至分布式文件系统，并将模型文件的配置参数保存在数据库。第二种方案：将这些模型文件继续存储在应用服务器中，再有模型文件上线的时候，将该上线的模型存储在分布式文件系统，以及将上线的模型文件的配置参数保存在数据库中。

无论对于第一种方案还是第二种方案，在使用本申请实施例提供的模型文件调用系统后，对上线的模型文件的部署过程是相同的，具体的部署过程包括：首先，将上线的模型文件存放到分布式文件系统的指定路径下，其中，指定路径可以根据实际情况进行人为确定，本实施例不对指定路径的具体内容作限定。其次，在模型文件上线页面上填写模型文件所支持的功能参数，例如，对于用于打分的模型文件，功能参数可以包括：指标表，指标名等，其中，指标名即上线的模型文件可以用于打分的指标的名称。最后，将所上线的模型文件的配置参数存储在数据库中，其中，配置参数包括功能参数，、上线的模型文件的预设标识，以及上线的模型文件存储在分布式文件系统的存储路径间的对应关系。

其中，模型文件上线页面如图2所示，从图2中可以看出，在模型文件上线页面中需要填写模型文件的信息可以包括：模型类型、算法类型、状态、原始路径、初始值、指标是否添加表名、模型文件的简介和表名。其中，模型类型表示待上线模型文件的格式。算法类型表示生成待上线模型文件的算法的类型。状态表示待上线模型文件的上线环境。原始路径表示待上线模型文件存储在分布式系统之前的存储路径。初始值表示待上线模型文件中的算法包含的指标的初始值。指标是否添加表名根据实际情况确定，在指标存在表名的情况下，指标需要添加表名，否则，指标不需要添加表名。表名表示包含指标的表的名称。

对于第一种方案和第二种方案，模型文件调用系统中的各部分间的功能存在一些区别，对于第一种方案，模型文件调用系统中各部分间的功能包括：分布式文件系统102用于存储全部模型文件。数据库103用于存储全部模型文件的配置参数间的对应关系。应用服务器101用于从对应关系中确定与待调用模型文件的预设标识对应的存储路径为待调用模型文件的存储路径，并从待调用模型文件的存储路径中调用该待调用模型文件。

对于第二种方案，模型文件调用系统中各部分间的功能包括：分布式文件系统102用于存储在预设时刻之后上线的模型文件。数据库103用于存储在预设时刻之后上线的模型文件的配置参数间的对应关系。应用服务器101用于存储在预设时刻之前上线的模型文件和配置参数。其中，预设时刻的具体内容可以根据实际情况确定，本实施例不对预设时刻的具体取值作限定。

应用服务器101还用于判断对应关系中是否存在与待调用模型的预设标识对应的存储路径，在对应关系中存在与待调用模型文件的预设标识对应的存储路径的情况下，从对应关系中确定与待调用模型文件的标识对应的存储路径为待调用模型文件的存储路径，并从待调用模型文件的存储路径下调用待调用模型文件。在对应关系中不存在与待调用模型文件的预设标识对应的存储路径的情况下，从应用服务器确定待调用模型文件的存储路径，并从应用服务器中调用待调用模型文件。

综上第一种方案与第二种方案，本申请实施例提供的模型文件调用系统中的分布式文件系统102用于存储至少部分模型文件。数据库103用于存储该至少部分模型文件的配置参数间的对应关系，其中，配置参数包括：模型文件的预设标识与模型文件在分布式文件系统102中的预设存储路径。应用服务器101用于依据待调用模型文件的预设标识以及该对应关系，确定待调用模型文件的存储路径，并从待调用模型文件的存储路径下，调用待调用模型文件。

需要说明的是，通过本实施例提供的模型文件调用系统中的应用服务器的功能，可以看出本实施例中的应用服务器并不是简单的将现有技术中的应用服务器搬移过来，具体的，本实施例中的应用服务器在调用待调用模型文件的流程与现有技术不同。

本实施例具有以下有益效果：

有益效果一、

本实施例中，由于可以将模型文件存储在分布式文件系统，并将模型文件的配置参数存储在数据库中实现对模型文件的部署，使得模型文件的部署过程与应用服务器没有关系，进而，在部署模型文件的过程中应用服务器还可以从分布式文件系统中调用模型文件。因此，通过本申请提供的方案，可以解决现有技术中在部署模型的过程中，需要重启应用服务器，影响用户体验的问题。

有益效果二、

由于一种应用程序部署在一个应用服务器中，并且，不同种类的应用程序所部署在的应用服务器不同。因此，在现有技术中，当多种不同的应用程序共同需要某个模型文件的情况下，需要在该多种不同的应用程序分别部署的应用服务器中分别部署该模型文件，即需要将同一个模型文件分别部署在不同的应用服务器中，需要耗费较多的人力。

而本实施例中，由于可以将模型文件存储在分布式文件系统中，并且，多个不同的应用服务器可以同时访问分布式文件系统中的同一个模型文件，因此，在多种不同的应用程序共同需要某个模型文件的情况下，只需将该模型文件存储在分布式文件系统，以及将该模型文件的配置参数存储在数据库中，即可实现多个不同的应用服务器通过访问分布式文件系统调用到该模型文件。因此，相比与现有技术，本实施例只需对该模型文件部署一次即可，因此，可以降低人力成本。

有益效果三、

本实施例中适用于第二种方案，即将在预设时刻之前已存储在应用服务器中的模型文件继续保留，只是将预设时刻之后的上线的模型文件存储在分布式文件系统，使得可以与现有技术中的应用服务器实现兼容，从而可以减少改造的成本。

图3为本申请实施例提供的一种模型文件调用方法，执行主体为图1对应的实施例中的模型文件调用系统，包括以下步骤：

S301、获取待调用模型文件的预设标识。

在本实施例中，每个已部署的模型文件都事先设置了预设标识，其中，预设标识可以预设编号。

在本步骤中，获取待调用模型文件的预设标识的过程为现有技术，这里不再赘述。

S302、依据预设标识与预设对应关系，确定待调用模型文件的存储路径。

在本实施例中，分布式文件系统中存储模型文件和数据库中存储配置参数间的对应关系，可以包括两种情况，分别为第一种情况与第二种情况。

第一种情况、可以在分布式文件系统中存储全部模型文件，对应的在数据库中存储全部模型文件的配置参数间的对应关系。其中，配置参数包括：预设标识、在分布式文件系统中的存储路径、模型文件所支持的功能参数，例如，指标名与指标表，功能参数的具体含义已在图1对应的实施例中介绍，这里不再赘述。

第二种情况、在分布式文件系统中存储在预设时刻之后上线的模型文件，对应的在数据库中存储在预设时刻之后上线的模型文件的配置参数间的对应关系，其中，配置参数包括的具体内容与第一种情况相同，这里不再赘述。

综合第一种情况和第二种情况，本步骤中的预设对应关系为数据库中存储的至少部分模型文件的配置参数间的对应关系，其中，至少部分模型文件为存储在分布式文件系统中的模型文件。

针对上述第一种情况与第二种情况，本步骤的具体实现过程不同，以下分别针对进行介绍。

对于第一种情况，依据预设标识与预设对应关系，确定待调用模型文件的存储路径的过程包括：从对应关系中确定与预设标识对应的存储路径为待调用模型文件的存储路径。

对于第一种情况，依据预设标识与预设对应关系，确定待调用模型文件的存储路径的过程包括以下步骤A1～A3：

A1、判断预设对应关系中存在所述预设标识对应的存储路径，如果是，则执行A2，如果否，则执行A3。

A2、从预设对应关系中确定与预设标识对应的存储路径为待调用模型文件的存储路径。

A3、确定所述待调用模型文件在所述应用服务器中的存储路径为所述待调用模型文件的存储路径。

本步骤的具体实现过程为现有技术，这里不再赘述。

S303、从调用模型文件的存储路径下，调用所述待调用模型文件。

本步骤的具体实现过程为现有技术，这里不再赘述。

上述S301～S303的过程是模型文件的调用过程，在本实施例中，对于模型文件的部署流程包括：接收目标模型文件，以及保存目标模型文件的预设标识与目标模型文件的预设存储路径间的对应关系。其中，目标模型文件为待存储的上线模型文件。目标模型文件的预设标识为事先确定的用于识别该目标模型文件的标识，具体的，可以为编号，可以人为确定。目标模型文件的预设存储路径为事先确定的在分布式文件系统中存储该目标模型文件的存储路径，其中，存储路径可以人为确定。

本申请实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种模型文件调用系统，其特征在于，包括：应用服务器、分布式文件系统和数据库；所述应用服务器分别与所述分布式文件系统和所述数据库连接；

所述分布式文件系统，用于存储至少部分模型文件；

所述数据库，用于存储所述至少部分模型文件的配置参数间的对应关系；所述配置参数包括：所述模型文件的预设标识、以及所述模型文件在所述分布式文件系统中的预设存储路径；

所述应用服务器，用于依据待调用模型文件的标识以及所述对应关系，确定所述待调用模型文件的存储路径；

所述应用服务器，还用于从所述待调用模型文件的存储路径下，调用所述待调用模型文件。

2.根据权利要求1所述的系统，其特征在于，所述分布式文件系统，用于存储至少部分模型文件，包括：

所述分布式文件系统，具体用于存储全部模型文件；

所述数据库，用于存储所述至少部分模型文件的配置参数间的对应关系，包括：

所述数据库，具体用于存储所述全部模型文件的配置参数间的对应关系；

所述应用服务器，用于依据待调用模型文件的标识以及所述对应关系，确定所述待调用模型文件的存储路径，包括：

所述应用服务器，具体用于从所述对应关系中确定与所述待调用模型文件的标识对应的存储路径为所述待调用模型文件的存储路径。

3.根据权利要求1所述的系统，其特征在于，所述分布式文件系统，用于存储至少部分模型文件，包括：

所述分布式文件系统，具体用于存储在预设时刻之后上线的模型文件；

所述数据库，用于存储所述至少部分模型文件的配置参数间的对应关系，包括：

所述数据库，具体用于存储在所述预设时刻之后上线的模型文件的配置参数间的对应关系；

所述应用服务器，用于依据待调用模型文件的标识以及所述对应关系，确定所述待调用模型文件的存储路径，包括：

所述应用服务器，具体用于在所述对应关系中存在与所述待调用模型文件的标识对应的存储路径的情况下，从所述对应关系中确定与所述待调用模型文件的标识对应的存储路径为所述待调用模型文件的存储路径。

4.根据权利要求3所述的系统，其特征在于，

所述应用服务器，还用于存储在所述预设时刻之前上线的模型文件；

所述应用服务器，还用于在所述对应关系中不存在与所述待调用模型文件的标识对应的存储路径的情况下，从所述应用服务器确定所述待调用模型文件的存储路径，并从所述应用服务器中调用所述待调用模型文件。

5.根据权利要求1～4任意一项所述的系统，其特征在于，所述模型文件为用于进行评分的模型的文件。

6.一种模型文件的调用方法，其特征在于，包括：

获取待调用模型文件的预设标识；

依据所述预设标识与预设对应关系，确定所述待调用模型文件的存储路径；所述预设对应关系为数据库中存储的至少部分模型文件的配置参数间的对应关系；所述至少部分模型文件存储在分布式文件系统；所述配置参数包括：预设标识以及在所述分布式文件系统中的存储路径；

从所述调用模型文件的存储路径下，调用所述待调用模型文件。

7.根据权利要求6所述的方法，其特征在于，所述分布式文件系统中存储全部模型文件；所述数据库中存储所述全部模型文件的配置参数间的对应关系；

所述依据所述预设标识与预设对应关系，确定所述待调用模型文件的存储路径，包括：

从所述对应关系中确定与所述预设标识对应的存储路径为所述待调用模型文件的存储路径。

8.根据权利要求6所述的方法，其特征在于，所述分布式文件系统中存储在预设时刻之后上线的模型文件；所述数据库中存储在所述预设时刻之后上线的模型文件的配置参数间的对应关系；

所述依据所述预设标识与预设对应关系，确定所述待调用模型文件的存储路径，包括：

在所述预设对应关系中存在所述预设标识对应的存储路径的情况下，从所述预设对应关系中确定与所述预设标识对应的存储路径为所述待调用模型文件的存储路径。

9.根据权利要求8所述的方法，其特征在于，所述应用服务器中存储在所述预设时刻之前上线的模型文件，在所述从所述调用模型文件的存储路径下，调用所述待调用模型文件之前，还包括：

在所述预设对应关系中不存在所述预设标识对应的存储路径的情况下，确定所述待调用模型文件在所述应用服务器中的存储路径为所述待调用模型文件的存储路径。

10.根据权利要求6～9任意一项所述的方法，其特征在于，还包括：

接收目标模型文件；所述目标模型文件为待存储的上线模型文件；

保存所述目标模型文件的预设标识与所述目标模型文件的预设存储路径间的对应关系。

Images