CN114281706A - 一种模型测评方法、系统及存储介质 - Google Patents

Abstract

本申请涉及深度学习模型的测评领域，提出一种模型测评方法、系统及存储介质。所述方法包括：接收测评请求，当所述测评请求为待测评模型镜像时，将所述待测评模型镜像存储在所述镜像仓库中；从所述镜像调用框架中选择与所述待测评模型镜像对应的镜像调用代码，调用所述待测评模型镜像；对所述待测评模型进行测评。本申请实施例通过设置镜像仓库和镜像调用代码，通过接受用户上传的待测评模型的镜像，从而对其进行测评，对于测评模型的类型、开发语言以及算法框架均无需限制。

Description

一种模型测评方法、系统及存储介质

技术领域

本申请实施例涉及计算机技术领域，特别涉及一种模型测评方法、系统及存储介质。

背景技术

目前，在对模型的测评过程中，比如对于深度学习模型，由于不同的训练过程，会产生不同类型的模型，而且不同开发方的深度学习模型开发语言、算法框架也不尽相同，面对不同类型、开发语言、算法框架的模型时，对于测评系统而言需要针对不同类型、开发语言、算法框架进行一一开发，开发工作量较大，成本较高，否则，就要限制模型的类型、开发语言、算法框架，但这又导致部分用户无法使用测评系统。

发明内容

本申请实施例提出一种模型测评方法、系统及存储介质，运用在模型测评领域，通过在测评系统中设置镜像仓库和镜像调用框架，用户在对某一模型进行测评时，可以对待测评的模型构建镜像，并把所构建的待测评模型镜像上传至镜像仓库中，在测试时，测评系统通过镜像调用框架中的调用代码调用镜像仓库中的待测评模型镜像即可，由于待测评模型在以镜像的方式进行运行，故而对于测评系统而言待测评模型属于黑盒状态，因此不用限制待测评模型的类型、开发语言以及算法框架，而且也不会大幅提高测评系统的开发成本。

第一方面，本申请实施例提出一种模型测评方法，用于模型测评系统，所述测评系统包括镜像仓库和镜像调用框架，所述方法包括：

接收测评请求；

当所述测评请求包括待测评模型镜像时，将所述待测评模型镜像存储在所述镜像仓库中；

从所述镜像调用框架中选择与所述待测评模型镜像对应的镜像调用代码，调用所述待测评模型镜像；

对所述待测评模型进行测评。

第二方面，本申请实施例提出一种模型测评系统，具有实现对应于上述第一方面提供的模型测评方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。所述模型测评系统包括：

收发模块，用于接收用户发送的测评请求；

镜像仓库，用于存储待测评模型镜像；

镜像调用框架，用于存储镜像调用代码；

处理模块，用于确定所述测评请求是否包括待测评模型的模型镜像，当所述测评请求包括待测评模型镜像时，从所述镜像调用框架中选择与所述待测评模型对应的镜像调用代码，并基于所选择的镜像调用代码调用所述待测评模型，对所述待测评模型进行评测。

第三方面，本申请实施例提出一种计算机可读存储介质，其包括指令，当其在计算机上运行时，使得计算机执行上述第一方面中所述的方法。

第四方面，本申请实施例提出一种处理设备，所述处理设备包括：

至少一个处理器、存储器和输入输出单元；

其中，所述存储器用于存储计算机程序，所述处理器用于调用所述存储器中存储的计算机程序来执行上述第一方面中所述的方法。

相较于现有技术而言，现有技术通过限制用户的待测评模型的类型、开发语言、算法，导致一部分用户无法使用测评系统，或者通过针对不同类型、开发语言、算法的模型，对测评系统进行对应的开发，导致测评系统开发工作量较大，成本较高。而本申请实施例，通过在测评系统中设置镜像仓库和镜像调用框架，用户在对某一模型进行测评时，可以对待测评模型构建镜像，并把所构建的待测评模型镜像上传至镜像仓库中，在测评时测评系统通过镜像调用框架中的调用代码调用镜像仓库中的待测评模型镜像即可，由于待测评模型在以镜像的方式进行运行，故而对于测评系统而言属于黑盒状态，因此不用限制待测评模型的类型、开发语言、算法；对于测评系统开发方而言，仅仅需要创建镜像仓库和镜像调用框架，因此也不会大幅提高测评系统的开发成本。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本申请一实施例的模型测评方法的一个应用场景；

图2为本申请一实施例的模型测评方法的另一个应用场景；

图3为本申请一实施例的模型测评方法的测评系统的模块示意图；

图4为本申请一实施例的模型测评方法的时令图；

图5为本申请另一实施例的模型测评方法的另一个应用场景；

图6为本申请另一实施例的模型测评方法的时令图；

图7为本申请另一实施例的模型测评方法的时令图；

图8为本申请一实施例的模型测评系统的模块图；

图9为本申请一实施例提供的计算机可读存储介质的模块图；

图10为本申请一实施例提供的计算设备的结构图。

具体实施方式

下面将参考若干示例性实施方式来描述本申请实施例的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本申请实施例，而并非以任何方式限制本申请实施例的范围。

本领域技术人员知道，本申请实施例的实施方式可以实现为一种装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请实施例提供一种模型测评方法、装置及存储介质，可以运用于模型测评系统、模型测评装置。

在一些实施方式中，如图1所示，图1为本申请实施例的模型测评方法的一个应用场景。在该应用场景中可以包括至少一个模型和至少一个部署了模型测评系统的服务器或者终端，本申请实施例以一个服务器和模型为例，其中服务器上部署有模型测评系统或模型测评平台。

其中模型可以为深度学习模型，比如人脸识别模型、图像识别模型、图像处理模型、视频处理模型等。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。需要说明的是，服务器可以为测评系统提供方的服务器，也可以为测评系统使用方(即用户方)的服务器。

比如在图2的使用场景中，用户终端通过网络与模型评测系统的提供方的服务器连接，那么用户可以通过用户终端将测评请求发送至测评系统提供方的服务器，经过测评后，将测评结果通过网络反馈至用户终端。或者，用户可以将测评系统直接安装在自身的服务器上，比如图1所示的服务器，假设该服务器即为用户服务器，那么用户就可以直接向服务器上传测评请求。

在其他实施例中，还可以是将模型测评系统、装置或平台部署在终端上，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

图3为本申请一实施例的模型测评方法中的模型测评系统的模块图。如图3所示，该测评系统包括镜像调用框架、镜像仓库和处理模块，其中镜像仓库用于储存镜像，比如基于待测评模型构建的镜像，镜像调用框架用于配置镜像仓库的镜像调用代码，处理模块用来处理运算。接下来，以如图3所示的模型测评系统为例，参照图4，对本申请实施例的进行阐述。

在本申请实施例中，该模型测评方法包括如下步骤：

步骤S110：接收测评请求。其中测评请求可以为待测评模型镜像、待测评模型的调用接口地址、待测评模型的模型代码，以下分别通过上述三种测评请求，对本申请实施例的测评方法进行阐述：

一、测评请求为待测评模型镜像

待测评模型镜像是基于待测评的模型进行构建的，其中该镜像包括含该待测评模型运行时的一些必要环境组件，以及该待测评模型本身的镜像文件。

在一些实施例中，该镜像可以是由需要测评的用户自身对待测评模型进行构建镜像，然后将构建后的待测评模型镜像发送至测评系统。对于此种由用户自身进行镜像构建的方法而言，由于用户仅仅向测评系统提供了待测评模型的镜像，而无需提供其他模型参数、运行数据等，故而能够在一定程度上起到保护用户隐私、避免模型内部数据泄露的作用。

在另外一些实施例中，还可以是用户直接将待测评模型发送至测评系统，再由测评系统进行构建镜像。

在确定测评请求为待测评模型镜像时进行步骤S120：将所述待测评模型镜像存储在所述镜像仓库中。

测评系统收到待测评模型镜像后，便可以将其存储在镜像仓库中，存储在镜像仓库后会产生一个待测评模型镜像的镜像ID，镜像ID可以是该待测评模型名称、编号、地址等。

步骤S130：基于所述镜像调用框架中的镜像调用代码，调用所述镜像仓库中的所述模型镜像。

在步骤S120中，将待测评模型镜像存储在了镜像仓库中，并且产生了镜像ID，那么在本步骤中就可以从镜像调用框架用选用合适的镜像代码，按照步骤S120中产生的镜像ID在镜像仓库中调用该待测评模型镜像，从而使该待测评模型在测评系统中运行。

步骤S140：对所述待测评模型进行测评。

在步骤S130中，通过镜像调用代码调用了待测评模型镜像，在本步骤中，可以根据待测评模型运行的情况对其进行测评，得到测评结果，并将其反馈至用户。

在本实施方式的另一个实施例中，在步骤S130调用待测评模型镜像之前，还需要对所述待测评模型镜像的启动方式进行验证，比如验证该待测评模型的输入、输出是否符合测评系统的输入、输出需求，如果验证成功则启动该待测评模型。

相较于现有技术而言，现有技术通过限制用户的待测评模型的类型、开发语言、算法，导致一部分用户无法使用测评系统，或者通过针对不同类型、开发语言、算法的模型，对测评系统进行对应的开发，导致测评系统开发工作量较大，成本较高。而本申请实施例，通过在测评系统中设置镜像仓库和镜像调用框架，用户在对某一模型进行测评时，可以对待测评模型构建镜像，并把所构建的待测评模型镜像上传至镜像仓库中，在测评时测评系统通过镜像调用框架中的调用代码调用镜像仓库中的待测评模型镜像即可，由于待测评模型在以镜像的方式进行运行，故而对于测评系统而言属于黑盒状态，因此不用限制待测评模型的类型、开发语言、算法；对于测评系统开发方而言，仅仅需要创建镜像仓库和镜像调用框架，因此也不会大幅提高测评系统的开发成本。

二、测评请求为待测评模型的调用接口地址

上述实施例中，阐述了用户通过上传待测评模型镜像，对模型进行测评，但是对于某些用户而言，其需要测评的模型属于第三方，无法提供模型代码或者模型镜像，那么则不能利用上述实施例所阐述的测评方法进行测评，因此本申请实施例还提出以下方法以满足无法提供模型代码和模型镜像的用户。

如图5所示的应用场景中，待测评模型部署在第三方服务器上，用户使用该模型提供的模型服务，此时用户既不能提供该模型的模型镜像，也不能提供该模型的模型代码，那么此时可以通过如下方法对该模型进行测评。

如图6所示，在本申请实施例中，所述测评系统包括网络协议调用框架，其中网络协议调用框架内包括了不同接口地址对应的网络协议，该方法包括以下步骤：

步骤S210：接收调用接口地址。

在本步骤中，由于用户无法提供待测评模型的镜像和数据，但是用户可以使用该待测评模型的调用接口，因此用户可以将该待测评模型的调用接口地址写成第一脚本发送至测评系统，需要说明的是第一脚本的语言需要和测评系统的开发语言一致。

步骤S220：判断所述待测评模型的网络协议。

在本步骤中，接收到用户发送的第一脚本后，就获知了待测评模型的调用接口地址，因此可以根据调用接口地址判断得到该调用接口地址所使用的网络协议，进而可以从预设的网络协议框架中，选择对应的网络协议，并通过该待测评模型的调用接口地址调用该待测评模型，即如下的步骤S230和步骤S240。

步骤S230：选择与所述待测评模型相同的网络协议。

步骤S240：基于所选择的网络协议调用所述待测评模型。

通过该待测评模型的调用接口地址调用该待测评模型后，对其进行测评，并将测评结果返回至用户。

本申请的另一个实施例中，在选择了与所述待测评模型的调用接口地址相同的网络协议后，在对其进行调用之前还可以对所述待测评模型的调用接口地址对外暴露的网络协议进行验证，验证是否与测评系统通过用户发送的第一脚本所判断选择网络协议的一致，若一致则可以进行调用，若不一致，则说明用户发送的第一脚本中的待测评模型的调用接口地址可能有误，此时可以向用户返回第一消息，第一消息用于向用户表明其提供的第一脚本中的待测评模型的调用接口地址有误。

本申请实施例，通过获取用户所使用的模型的调用接口地址，判断其网络协议，进而根据预设的网络协议框架选择相应的网络协议，从而可以通过待测评模型接口地址调用该模型，以对其进行测评，在测评过程无需考虑模型的开发语言、类型、算法框架，仅要求用户上传的第一脚本的语言与本测评系统一致。

三、测评请求为待测评模型的模型代码

如图7所示，在本申请另一实施例中，所述测评系统还部署有深度学习推理框架，所述深度学习推理框架用于适配不同类型的模型，其中，

所述方法包括如下步骤：

步骤S310：接收待测评模型的模型代码。

在本步骤中，用户可以将待测评模型的模型代码发送至测评系统。

步骤S320：确定所述待测评模型的类型。

在本步骤中，根据在步骤S310中获取到的模型代码，确定待测评模型的类型。

步骤S330：从所述深度学习推理框架中选择对应的算法框架。

在本步骤中，基于在步骤S300中所确定的模型类型，从深度学习推理框架中选择与该模型类型对应的算法框架，以运行该待测评模型。

步骤S340：运行所述待测评模型。

在本步骤中，根据所选择的算法框架运行该待测评模型，并根据运行情况得到测评结果，并将其发送至用户端。

在本申请的另一实施例中，在步骤S310获取到待测评模型代码后，还包括步骤S311：判断所述待测评模型代码的封装规范是否满足所述深度学习推理框架中对应的算法框架的封装要求，若是，则对所述待测评模型代码进行测评，若否，则返回具有封装规范不符的第二消息。

判断待测评模型代码的封装规范，比如待测评模型的启动方式、输入及输出方式，是否与该类型的待测评模型对应的算法框架的启动、输入及输出要求一致，若一致，则利用对应的算法框架运行该待测评模型，如果不一致，该算法框架则无法启动该待测评模型，此时需要向用户返回第二消息，第二消息可以表明该待测评系统所要求的封装规范。

在本申请实施例中，所述深度学习推理框架可以为TensorFlow、NCNN、MegengineARM、PyTorch、Caffe、MXNet、PaddlePaddle、Theano等，本申请实施例对于具体使用何种深度学习推理框不做限制。

本申请实施例，通过在测评系统中设置深度学习推理框架，仅在开语言层面限制用户的待测评模型，对于待测评模型的类型则不做限制，相对于现有技术中对开发语言、类型、算法框架都进行限制来说，在一定程度上扩大了测评系统的适用范围。另外，相对于现有技术中针对每种类型、语言、算法框架，对测评系统进行一一开发而言，本申请实施例在测评系统中部署深度学习推理框架，不会大幅提高测评系统的开发成本及开发难度。

示例性系统

图1至图7中任一项所对应的实施例中所提及的任一技术特征也同样适用本申请实施例中的图8-图10所对应的实施例，后续类似之处不再赘述。在介绍了本申请实施例示例性实施方式的模型测评方法之后，接下来对本申请实施例中的实施上述应模型测评方法的模型测评系统进行详细阐述。

如图8所示的一种模型测评系统100，其可用于深度学习模型的测评领域。本申请实施例中的模型测评系统100能够实现对应与上述图1-图7中任一项所对应的实施例中所执行的模型测评方法的步骤。该模型测评系统实现的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。所述测评系统100可包括：收发模块110、镜像仓库120、镜像调用框架130，以及处理模块140。所述收发模块110、镜像仓库120、镜像调用框架130，以及处理模块140的功能实现可参考图1-图7中任一项对应的实施例中所执行的操作，此处不作赘述。

一些实施方式中，所述收发模块110可用于接收用户发送测评请求；

所述镜像仓库120可用于存储待测评模型镜像；

所述镜像调用框架130可用于存储镜像调用代码；

所述处理模块140用户确定所述测评请求是否为待测评模型镜像，当所述测评请求为待测评模型镜像时，基于所述测评模型镜像，从所述镜像调用框架中选择与所述待测评模型对应的镜像调用代码，并基于所选择的镜像调用代码调用所述待测评模型，对所述待测评模型进行评测；

所述收取模块110还用于向用户返回测评结果。

在本申请的另一个实施例中，所述处理模块140还用于验证所述待测评模型镜像的启动方式，若所述待测评模型镜像的启动方式符合所述测评系统的启动需求，则启动所述待测评模型。

在本申请的另一个实施例中，所述测评系统100还包括网络协议调用框架，

当所述处理模140块判断所述测评请求为调用接口地址时，

所述处理模块140还用于根据所述待测评模型的调用接口地址，判断所述调用接口地址的网络协议，从所述网络协议框架中选择与所述待测评模型调用接口地址相同的网络协议，基于所选择网络协议调用所述待测评模型，测评所述待测评模型。

在本申请的另一个实施例中，所述处理模块140还用于验证所述待测评模型的调用接口地址的网络协议，若所述调用接口地址的网络协议与所选择的网络协议不同，则返回具有网络协议错误的第一消息。

在本申请的另一个实施例中，所述测评系统100还部署有深度学习推理框架，所述深度学习推理框架用于适配不同类型的模型；

当所述处理模块110判断所述测评请求为模型代码时，所述处理模块还用于基于所述收发模块获取的待测评模型的模型代码，确定所述待测评模型的类型；以及

从所述深度学习推理框架中选择对应的推理框架，并运行所述待测评模型。

在本申请的另一个实施例中，所述处理模块还用于判断所述待测评模型代码的封装规范是否满足所述深度学习推理框架中对应的算法框架的封装要求，若是，则对所述待测评模型代码进行测评；

若否，所述收发模块还可用于向用户返回具有封装规范不符的第二消息。

相较于现有技术而言，现有技术通过限制用户的待测评模型的类型，导致一部分用户无法使用测评系统，或者通过针对不同类型的模型，对测评系统进行对应的开发，导致测评系统开发工作量较大，成本较高。而本申请，通过在测评系统中设置镜像仓库和镜像调用框架，用户在对某一模型进行测评时，可以对待测评的模型构建镜像，并把所构建的待测评模型镜像上传至镜像仓库中，那么在测评时，测评系统通过镜像调用框架中的调用代码调用镜像仓库中的待测评模型镜像即可，由于待测评模型在以镜像的方式进行运行，故而对于测评系统而言属于黑盒状态，因此不用限制待测评模型的类型，包括开发语言以及算法框架，对于测评系统开发方而言，仅仅需要创建镜像仓库和镜像调用框架，因此也不会大幅提高测评系统的开发成本。

示例性介质

在介绍了本申请示例性实施方式的方法和装置之后，接下来，参考图9对本申请示例性实施方式的计算机可读存储介质进行说明，请参考图9，其示出的计算机可读存储介质为光盘70，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会实现上述方法实施方式中所记载的各步骤，例如，接收测评请求；当所述测评请求为待测评模型镜像时，将所述待测评模型镜像存储在所述镜像仓库中；从所述镜像调用框架中选择与所述待测评模型镜像对应的镜像调用代码，调用所述待测评模型镜像；对所述待测评模型进行测评。各步骤的具体实现方式在此不再重复说明。

需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。

示例性计算设备

在介绍了本申请示例性实施例的方法、介质和装置之后，接下来，参参考图10对本申请示例性实施方式的计算设备进行阐述。

图10示出了适于用来实现本申请实施方式的示例性计算设备80的框图，该计算设备80可以是计算机系统或服务器。图10显示的计算设备80仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图10所示，计算设备80的组件可以包括但不限于：一个或者多个处理器或者处理单元801，系统存储器802，连接不同系统组件(包括系统存储器802和处理单元801)的总线803。

计算设备80典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算设备80访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器802可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)8021和/或高速缓存存储器8022。计算设备80可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，ROM8023可以用于读写不可移动的、非易失性磁介质(图10中未显示，通常称为“硬盘驱动器”)。尽管未在图10中示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线803相连。系统存储器802中可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。

具有一组(至少一个)程序模块8024的程序/实用工具8025，可以存储在例如系统存储器802中，且这样的程序模块8024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块8024通常执行本申请所描述的实施例中的功能和/或方法。

计算设备80也可以与一个或多个外部设备804(如键盘、指向设备、显示器等)通信。这种通信可以通过输入/输出(I/O)接口805进行。并且，计算设备80还可以通过网络适配器806与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图10所示，网络适配器806通过总线803与计算设备80的其它模块(如处理单元801等)通信。应当明白，尽管图8中未示出，可以结合计算设备80使用其它硬件和/或软件模块。

处理单元801通过运行存储在系统存储器802中的程序，从而执行各种功能应用以及数据处理，例如，接收测评请求；当所述测评请求为待测评模型镜像时，将所述待测评模型镜像存储在所述镜像仓库中；从所述镜像调用框架中选择与所述待测评模型镜像对应的镜像调用代码，调用所述待测评模型镜像；对所述待测评模型进行测评。各步骤的具体实现方式在此不再重复说明。

应当注意，尽管在上文详细描述中提及了模型测评系统的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。

此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

虽然已经参考若干具体实施方式描述了本申请的精神和原理，但是应该理解，本申请并不限于所申请的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本申请旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (9)

1.一种模型测评方法，用于模型测评系统，所述测评系统包括镜像仓库和镜像调用框架，所述方法包括：

接收测评请求；

当所述测评请求包括待测评模型镜像时，将所述待测评模型镜像存储在所述镜像仓库中；

从所述镜像调用框架中选择与所述待测评模型镜像对应的镜像调用代码，调用所述待测评模型镜像；

对所述待测评模型进行测评。

2.如权利要求1所述的模型测评方法，在调用所述待测评模型镜像之前，还包括：

验证所述待测评模型镜像的启动方式；

若所述待测评模型镜像的启动方式符合所述测评系统的启动需求，则启动所述待测评模型。

3.如权利要求1所述的模型测评方法，所述测评系统还包括网络协议调用框架，当所述测评求包括所述待测评模型的调用接口地址时，

所述方法还包括：

判断所述调用接口地址的网络协议；

从所述网络协议框架中选择与所述待测评模型调用接口地址相同的网络协议；

基于所选择网络协议通过所述待测评模型的调用接口地址，调用所述待测评模型；

对所述待测评模型进行测评。

4.如权利要求3所述的模型测评方法，在调用所述待测评模型之前，还包括：

验证所述待测评模型的调用接口地址的网络协议；

若所述调用接口地址的网络协议与所选择的网络协议不同，则返回具有网络协议错误的第一消息。

5.如权利要求1所述的模型测评方法，所述测评系统还部署有深度学习推理框架，所述深度学习推理框架用于适配不同类型的模型，当所述测评请求包括所述待测评模型的模型代码时，

所述方法包括：

基于所述待测评模型代码，确定所述待测评模型的类型；

从所述深度学习推理框架中选择与所述待测评模型的类型对应的算法框架；

基于所选择的算法框架运行所述待测评模型。

6.如权利要求5所述的模型测评方法，在判断所述待测评模型的开发语言与所述测评系统一致后，还包括：

判断所述待测评模型代码的封装规范是否满足所述深度学习推理框架中对应的算法框架的封装要求；

若是，则对所述待测评模型进行测评；

若否，则返回具有封装规范不符的第二消息。

7.一种模型测评系统，其特征在于，包括：

收发模块，用于接收用户发送的测评请求；

镜像仓库，用于存储待测评模型镜像；

镜像调用框架，用于存储镜像调用代码；

处理模块，用于确定所述测评请求是否包括待测评模型的模型镜像，当所述测评请求包括待测评模型镜像时，从所述镜像调用框架中选择与所述待测评模型对应的镜像调用代码，并基于所选择的镜像调用代码调用所述待测评模型，对所述待测评模型进行评测。

8.一种计算机可读存储介质，其包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-6中任一项所述的方法。

9.一种处理设备，所述处理设备包括：

至少一个处理器、存储器和输入输出单元；

其中，所述存储器用于存储计算机程序，所述处理器用于调用所述存储器中存储的计算机程序来执行如权利要求1-6中任一项所述的方法。

Images