CN118276878B - 多平台的模型部署方法、设备及存储介质 - Google Patents

Abstract

本申请公开了一种多平台的模型部署方法、设备及存储介质，该多平台的模型部署方法包括：获取第一平台模型文件和第二平台模型文件；对第一平台模型文件和第二平台模型文件进行并集融合，得到融合编译文件；将融合编译文件发送至模型部署端，以使模型部署端对融合编译文件进行裁剪，生成第一平台模型文件和/或第二平台模型文件，并将第一平台模型文件部署至第一平台和/或将第二平台模型文件部署至第二平台。由于得到的融合编译文件的文件大小小于每个平台编译得到的模型文件的文件大小之和，进而可以减少模型文件传输所需要的网络资源，还可以减少模型部署端存储模型文件所需要的存储资源，且不同平台可以得到其分别对应的完整模型文件。

Description

多平台的模型部署方法、设备及存储介质

技术领域

本申请涉及模型处理技术领域，特别是涉及一种多平台的模型部署方法、设备及存储介质。

背景技术

随着人工智能的飞速发展，为简化神经网络模型的发布和部署流程，越来越多的领域引入了在线的模型发布部署系统。

在实际业务场景中，会有相同的神经网络模型被部署到不同的目标平台设备上的需求，即会根据不同平台生成神经网络模型对应的多个推理模型文件，以向不同平台部署相应的推理模型文件。

但是，为了满足不同平台的模型部署需求，模型发布部署系统需要对不同平台对应的多个推理模型文件均进行存储，进而需要大量的存储空间，导致模型发布部署系统的存储资源紧缺。

发明内容

为了解决上述技术问题，本申请至少提供一种多平台的模型部署方法、设备及存储介质。

本申请第一方面提供了一种多平台的模型部署方法，应用于模型生成端，方法包括：获取第一平台模型文件和第二平台模型文件；其中，第一平台模型文件和第二平台模型文件均是由基础神经网络模型编译得到的；对第一平台模型文件和第二平台模型文件进行并集融合，得到融合编译文件；将融合编译文件发送至模型部署端，以使模型部署端对融合编译文件进行裁剪，生成第一平台模型文件和/或第二平台模型文件，并将第一平台模型文件部署至第一平台和/或将第二平台模型文件部署至第二平台。

在一实施例中，第一平台模型文件、第二平台模型文件和融合编译文件均采用相同的文件格式。

在一实施例中，文件格式包括网络权重文件区域，网络权重文件区域用于存储每个网络层权重；对第一平台模型文件和第二平台模型文件进行并集融合，得到融合编译文件，包括：确定第一平台模型文件和第二平台模型文件的网络权重文件区域之间的冗余网络层权重和差异网络层权重；删除冗余网络层权重并保留差异网络层权重，得到融合权重文件区域；基于融合权重文件区域，生成融合编译文件。

在一实施例中，文件格式还包括网络结构文件区域，网络结构文件区域含有每个网络层权重的索引；基于融合权重文件区域，生成融合编译文件，包括：基于融合权重文件区域中每个网络层权重的位置信息，分别更新第一平台模型文件和第二平台模型中网络结构文件区域的网络层权重的索引；对更新后的第一平台模型文件和第二平台模型中的网络结构文件区域进行并集融合，得到融合结构文件区域；结合融合权重文件区域和融合结构文件区域，得到融合编译文件。

本申请第二方面提供了一种多平台的模型部署方法，应用于模型部署端，方法包括：接收融合编译文件，融合编译文件是模型部署端对第一平台模型文件和第二平台模型文件进行并集融合后得到的，第一平台模型文件和第二平台模型文件均是由基础神经网络模型训练编译得到的；对融合编译文件进行裁剪，生成第一平台模型文件和/或第二平台模型文件；将第一平台模型文件部署至第一平台和/或将第二平台模型文件部署至第二平台。

在一实施例中，对融合编译文件进行裁剪，生成第一平台模型文件和/或第二平台模型文件，包括：接收模型部署请求，模型部署请求用于指示对目标平台进行模型部署，目标平台包括第一平台和/或第二平台；从融合编译文件中提取与第一平台匹配的文件内容和/或与第二平台匹配的文件内容，得到第一平台模型文件和/或第二平台模型文件。

在一实施例中，融合编译文件中包括融合权重文件区域，融合权重文件区域用于存储第一平台关联的网络层权重和第二平台关联的网络层权重；从融合编译文件中提取与第一平台匹配的文件内容和/或与第二平台匹配的文件内容，得到第一平台模型文件和/或第二平台模型文件，包括：确定融合编译文件的融合权重文件区域中第一平台关联的网络层权重和/或第二平台关联的网络层权重，生成第一平台对应的网络权重文件区域和/或第二平台对应的网络权重文件区域；基于第一平台对应的网络权重文件区域，生成第一平台模型文件；和/或基于第二平台对应的网络权重文件区域，生成第二平台模型文件。

在一实施例中，融合编译文件中还包括第一平台和第二平台分别对应的网络结构文件区域，网络结构文件区域含有网络层权重的索引；确定融合编译文件的融合权重文件区域中第一平台关联的网络层权重和/或第二平台关联的网络层权重，生成第一平台对应的网络权重文件区域和/或第二平台对应的网络权重文件区域，包括：获取融合编译文件中第一平台和/或第二平台对应的网络结构文件区域中的文件内容，得到第一平台和/或第二平台对应的网络层权重的索引；基于第一平台对应的网络层权重的索引，确定融合编译文件中与第一平台关联的网络层权重，生成第一平台对应的网络权重文件区域；和/或基于第二平台对应的网络层权重的索引，确定融合编译文件中与第二平台关联的网络层权重，生成第二平台对应的网络权重文件区域。

本申请第三方面提供了一种多平台的模型部署装置，应用于模型生成端，装置包括：多平台文件获取模块，用于获取第一平台模型文件和第二平台模型文件；其中，第一平台模型文件和第二平台模型文件均是由基础神经网络模型编译得到的；文件融合模块，用于对第一平台模型文件和第二平台模型文件进行并集融合，得到融合编译文件；文件发送模块，用于将融合编译文件发送至模型部署端，以使模型部署端对融合编译文件进行裁剪，生成第一平台模型文件和/或第二平台模型文件，并将第一平台模型文件部署至第一平台和/或将第二平台模型文件部署至第二平台。

本申请第四方面提供了一种多平台的模型部署装置，应用于模型部署端，装置包括：文件接收模块，用于接收融合编译文件，融合编译文件是模型部署端对第一平台模型文件和第二平台模型文件进行并集融合后得到的，第一平台模型文件和第二平台模型文件均是由基础神经网络模型训练编译得到的；文件裁剪模块，用于对融合编译文件进行裁剪，生成第一平台模型文件和/或第二平台模型文件；模型部署模块，用于将第一平台模型文件部署至第一平台和/或将第二平台模型文件部署至第二平台。

本申请第五方面提供了一种电子设备，包括存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述多平台的模型部署方法。

本申请第六方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述多平台的模型部署方法。

上述方案，通过获取第一平台模型文件和第二平台模型文件；其中，第一平台模型文件和第二平台模型文件均是由基础神经网络模型编译得到的；对第一平台模型文件和第二平台模型文件进行并集融合，得到融合编译文件；将融合编译文件发送至模型部署端，以使模型部署端对融合编译文件进行裁剪，生成第一平台模型文件和/或第二平台模型文件，并将第一平台模型文件部署至第一平台和/或将第二平台模型文件部署至第二平台，由于得到的融合编译文件的文件大小小于每个平台编译得到的模型文件的文件大小之和，进而可以减少模型文件传输所需要的网络资源，还可以减少模型部署端存储模型文件所需要的存储资源，且不同平台可以得到其分别对应的完整模型文件。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。

图1是本申请的一个实施例提供的方案实施环境的示意图；

图2是本申请的一示例性实施例示出的多平台的模型部署方法的流程图；

图3是本申请的一示例性实施例示出的模型融合的示意图；

图4是本申请的一示例性实施例示出的文件格式的示意图；

图5是本申请的另一示例性实施例示出的模型融合的示意图

图6是本申请的另一示例性实施例示出的多平台的模型部署方法的流程图；

图7是本申请的一示例性实施例示出的模型部署的示意图；

图8是本申请的另一示例性实施例示出的模型部署的示意图；

图9是本申请的一示例性实施例示出的多平台的模型部署装置的框图；

图10是本申请的另一示例性实施例示出的多平台的模型部署装置的框图；

图11是本申请的一示例性实施例示出的电子设备的结构示意图；

图12是本申请的一示例性实施例示出的计算机可读存储介质的结构示意图。

具体实施方式

下面结合说明书附图，对本申请实施例的方案进行详细说明。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。

本文中术语“和/或”，仅仅是一种描述关联对象的关联信息，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

下面对本申请实施例所提供的多平台的模型部署方法进行说明。

请参考图1，其示出了本申请一个实施例提供的方案实施环境的示意图。该方案实施环境可以包括模型生成端、模型部署端和终端设备，模型生成端和模型部署端之间相互通信连接，模型部署端和终端设备之间相互通信连接。

模型生成端和模型部署端可以是服务器。其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

终端设备可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能手表等，不同的终端设备对应不同的模型应用平台。

在一个示例中，模型生成端用于编译生成不同模型应用平台对应的模型文件，这些模型文件均是由基础神经网络模型编译得到的，并对不同模型应用平台对应的模型文件进行并集融合，得到融合编译文件，从而将融合编译文件发送给模型部署端，模型部署端根据融合编译文件生成需要进行模型部署的模型应用平台对应的模型文件，以将该模型文件发送给需要进行模型部署的模型应用平台对应的终端设备进行部署。

请参阅图2，图2是本申请的一示例性实施例示出的多平台的模型部署方法的流程图。该多平台的模型部署方法可以应用于图1所示的实施环境，并由该实施环境中的模型生成端具体执行。应理解的是，该方法也可以适用于其它的示例性实施环境，并由其它实施环境中的设备具体执行，本实施例不对该方法所适用的实施环境进行限制。

如图2所示，多平台的模型部署方法至少包括步骤S210至步骤S230，详细介绍如下：

步骤S210：获取第一平台模型文件和第二平台模型文件；其中，第一平台模型文件和第二平台模型文件均是由基础神经网络模型编译得到的。

其中，基础神经网络模型用于执行目标推理任务，如用于执行图像识别任务、语音识别任务、文字识别任务等，本申请对此不进行限定。

由于不同平台的运行环境存在差异，因此，需要根据不同平台的运行环境，分别对基础神经网络模型进行编译。

具体地，根据需要部署的平台，对基础神经网络模型分别进行编译，得到不同平台分别对应的模型编译文件，如得到第一平台对应的第一平台模型文件、第二平台对应的第二平台模型文件。当然，若存在更多的平台，则可以编译得到第三平台对应的第三平台模型文件、第N平台对应的第N平台模型文件。

步骤S220：对第一平台模型文件和第二平台模型文件进行并集融合，得到融合编译文件。

提取第一平台模型文件和第二平台模型文件之间的并集文件数据，以实现第一平台模型文件和第二平台模型文件之间的并集融合，将并集融合结果作为融合编译文件。

具体地，删除第一平台模型文件和第二平台模型文件之间的冗余文件数据，保留第一平台模型文件和第二平台模型文件之间的差异文件数据，以得到第一平台模型文件和第二平台模型文件的所有文件元素，生成融合编译文件。

需要说明的是，在对第一平台模型文件和第二平台模型文件进行并集融合时，进行差异文件数据对比的文件粒度可以是单个神经元、单个网络层、多个网络层等，进行对比的具体的文件粒度可以根据基础神经网络模型的架构、剩余的存储资源、可以进行部署的所有平台的平台类型等确定，例如，可以进行部署的平台之间的环境差异越小，不同平台模型文件之间的数据差异则越小，则可以以更小的文件粒度进行差异文件数据的对比，以进一步减小融合编译文件的文件大小，本申请对此不进行限定。

请参阅图3，图3为本申请一示例性实施例示出的模型融合的示意图，如图3所示，根据第一平台和第二平台的运行环境，将基础神经网络模型分别编译得到第一平台模型文件和第二平台模型文件，然后，对第一平台模型文件和第二平台模型文件进行并集融合，得到同时含有第一平台模型文件和第二平台模型文件元素的融合编译文件。

当然，图3仅是示意性说明，实际应用场景中还可以编译得到更多平台对应的模型文件，本申请对此不进行限定。

步骤S230：将融合编译文件发送至模型部署端，以使模型部署端对融合编译文件进行裁剪，生成第一平台模型文件和/或第二平台模型文件，并将第一平台模型文件部署至第一平台和/或将第二平台模型文件部署至第二平台。

得到融合编译文件后，将融合编译文件发送至模型部署端，模型部署端用于执行模型发布及部署等工作，通过融合编译文件生成第一平台模型文件和/或第二平台模型文件，并将第一平台模型文件部署至第一平台和/或将第二平台模型文件部署至第二平台。

通过先对每个平台编译得到的模型文件进行并集融合，得到的融合编译文件的文件大小会小于每个平台编译得到的模型文件的文件大小之和，不仅可以减少模型文件传输所需要的网络资源，还可以减少模型部署端存储模型文件所需要的存储资源。

接下来对本申请部分实施例进行详细说明。

在一些实施方式中，第一平台模型文件、第二平台模型文件和融合编译文件均采用相同的文件格式，以便于第一平台模型文件和第二平台模型文件的融合，还便于后续将融合编译文件拆分得到对应平台的模型文件。

举例说明，请参阅图4，图4为本申请一示例性实施例示出的文件格式的示意图，如图4所示，文件格式包括文件基础信息区域Header、网络权重文件区域Layer、网络结构文件区域NetInfo。

其中，文件基础信息区域Header用于记载文件的基本信息；网络权重文件区域Layer用于记载神经网络模型执行推理任务时所需要的各个网络层的权重数据，如LayerA、LayerB、...、LayerXX；网络结构文件区域NetInfo用于记载神经网络模型的网络结构信息，以及网络权重文件区域中各个网络层权重的索引等。

以图4所示的文件结构对模型融合过程进行举例说明。

示例性地，文件格式包括网络权重文件区域，网络权重文件区域用于存储每个网络层权重；步骤S220中对第一平台模型文件和第二平台模型文件进行并集融合，得到融合编译文件，包括：

步骤S221：确定第一平台模型文件和第二平台模型文件的网络权重文件区域之间的冗余网络层权重和差异网络层权重。

步骤S222：删除冗余网络层权重并保留差异网络层权重，得到融合权重文件区域。

步骤S223：基于融合权重文件区域，生成融合编译文件。

例如，以差异文件数据对比的文件粒度为单个网络层为例，若第一平台模型文件的网络权重文件区域记载有LayerA、LayerB、LayerC的网络层权重，第二平台模型文件的网络权重文件区域记载有LayerA、LayerB’、LayerC的网络层权重，则第一平台模型文件和第二平台模型文件的网络权重文件区域之间的冗余网络层权重包括LayerA和LayerC，第一平台模型文件和第二平台模型文件的网络权重文件区域之间的差异网络层权重包括LayerB和LayerB’，删除冗余网络层权重并保留差异网络层权重，得到融合权重文件区域包括LayerA、LayerB、LayerB’、LayerC。

根据融合权重文件区域，生成融合编译文件。

在一些实施方式中，文件格式还包括网络结构文件区域，网络结构文件区域含有每个网络层权重的索引；基于融合权重文件区域，生成融合编译文件，包括：基于融合权重文件区域中每个网络层权重的位置信息，分别更新第一平台模型文件和第二平台模型中网络结构文件区域的网络层权重的索引；对更新后的第一平台模型文件和第二平台模型中的网络结构文件区域进行并集融合，得到融合结构文件区域；结合融合权重文件区域和融合结构文件区域，得到融合编译文件。

例如，请参阅图5，图5为本申请另一示例性实施例示出的模型融合的示意图，如图5所示，第一平台模型文件的网络结构文件区域为Plat1-NetInfo，第二平台模型文件的网络结构文件区域为Plat2-NetInfo，其分别记载有第一平台模型文件的网络权重文件区域中每个网络层权重的索引、第二平台模型文件的网络权重文件区域中每个网络层权重的索引。

在对第一平台模型文件和第二平台模型文件的网络权重文件区域中的网络层权重进行并集融合后，根据融合权重文件区域中每个网络层权重的位置信息，分别更新第一平台模型文件和第二平台模型中网络结构文件区域的网络层权重的索引，得到Plat1-NetInfo’和Plat2-NetInfo’，并对更新后的第一平台模型文件和第二平台模型中的网络结构文件区域进行并集融合，得到融合结构文件区域，结合融合权重文件区域和融合结构文件区域，得到融合编译文件。

例如，组合文件基础信息区域Header、融合权重文件区域和融合结构文件区域，得到融合编译文件。

当然，除了通过修改网络结构文件区域中每个网络层权重的索引，来指示不同平台的模型文件对应的网络层权重的位置之外，还可以采用其它方式来指示不同平台的模型文件对应的网络层权重的位置，如在融合权重文件区域中，分别标记各个网络层权重对应的平台模型文件，本申请对此不进行限定。

需要理解的是，上述融合过程仅是示意性说明，若不同平台的模型文件和/或融合编译文件采用的文件结构不同，或者不同平台的模型文件和/或融合编译文件之间的文件结构不同，则不同平台的模型文件的融合方式也可以不同，本申请对此不进行限定。

请参阅图6，图6是本申请的一示例性实施例示出的多平台的模型部署方法的流程图。该多平台的模型部署方法可以应用于图1所示的实施环境，并由该实施环境中的模型部署端具体执行。应理解的是，该方法也可以适用于其它的示例性实施环境，并由其它实施环境中的设备具体执行，本实施例不对该方法所适用的实施环境进行限制。

如图6所示，多平台的模型部署方法至少包括步骤S610至步骤S630，详细介绍如下：

步骤S610：接收融合编译文件，融合编译文件是模型部署端对第一平台模型文件和第二平台模型文件进行并集融合后得到的，第一平台模型文件和第二平台模型文件均是由基础神经网络模型训练编译得到的。

步骤S620：对融合编译文件进行裁剪，生成第一平台模型文件和/或第二平台模型文件。

由于融合编译文件是第一平台模型文件和第二平台模型文件进行并集融合后得到的，该融合编译文件中含有第一平台模型文件和第二平台模型文件的所有文件数据，因此，可以再由融合编译文件拆分得到第一平台模型文件和/或第二平台模型文件。

步骤S630：将第一平台模型文件部署至第一平台和/或将第二平台模型文件部署至第二平台。

请参阅图7，图7为本申请一示例性实施例示出的模型部署的示意图，如图7所示，模型部署端对接收到的融合编译文件进行存储，再存在模型部署需求时，根据融合编译文件中与待部署平台（如第一平台和/或第二平台）关联的文件内容，重新生成单平台模型文件（如第一平台模型文件和/或第二平台模型文件），将得到的单平台模型文件部署至待部署平台对应的终端设备中。

可选地，模型部署端还可以展示融合编译文件支持的平台信息。

在一些实施方式中，步骤S620中对融合编译文件进行裁剪，生成第一平台模型文件和/或第二平台模型文件，包括：

步骤S621：接收模型部署请求，模型部署请求用于指示对目标平台进行模型部署，目标平台包括第一平台和/或第二平台。

目标平台即待部署平台，目标平台的数量可以为一个或多个。

步骤S622：从融合编译文件中提取与第一平台匹配的文件内容和/或与第二平台匹配的文件内容，得到第一平台模型文件和/或第二平台模型文件。

示例性地，融合编译文件中包括融合权重文件区域，融合权重文件区域用于存储第一平台关联的网络层权重和第二平台关联的网络层权重；从融合编译文件中提取与第一平台匹配的文件内容和/或与第二平台匹配的文件内容，得到第一平台模型文件和/或第二平台模型文件，包括：确定融合编译文件的融合权重文件区域中第一平台关联的网络层权重和/或第二平台关联的网络层权重，生成第一平台对应的网络权重文件区域和/或第二平台对应的网络权重文件区域；基于第一平台对应的网络权重文件区域，生成第一平台模型文件；和/或基于第二平台对应的网络权重文件区域，生成第二平台模型文件。

融合权重文件区域由多个网络层权重组成，每个网络层权重可以关联一个或多个平台。

确定融合编译文件中第一平台对应的网络层权重和/或第二平台匹配的网络层权重。其中，可以是融合编译文件中还含有关联关系表，该关联关系表用于存储不同平台和各个融合编译文件中之间的关联关系，通过关联关系表确定融合编译文件中第一平台对应关联的网络层权重和/或第二平台对应关联的网络层权重；还可以是融合权重文件区域中的每个网络层权重含有平台指示字段，该平台指示字段用于指示其对应关联的平台，通过各个网络层权重的平台指示字段确定融合编译文件中第一平台对应的网络层权重和/或第二平台匹配的网络层权重，本申请对此不进行限定。

示例性地，融合编译文件中还包括融合结构文件区域，融合结构文件区域含有第一平台和第二平台分别对应的网络结构文件区域，网络结构文件区域含有网络层权重的索引；确定融合编译文件的融合权重文件区域中第一平台关联的网络层权重和/或第二平台关联的网络层权重，生成第一平台对应的网络权重文件区域和/或所述第二平台对应的网络权重文件区域，包括：获取融合编译文件中第一平台和/或第二平台对应的网络结构文件区域中的文件内容，得到第一平台和/或第二平台对应的网络层权重的索引；基于第一平台对应的网络层权重的索引，确定融合编译文件中与第一平台关联的网络层权重，生成第一平台对应的网络权重文件区域；和/或基于第二平台对应的网络层权重的索引，确定融合编译文件中与第二平台关联的网络层权重，生成第二平台对应的网络权重文件区域。

举例说明，请参阅图8，图8为本申请另一示例性实施例示出的模型部署的示意图，如图8所示，融合编译文件的融合结构文件区域包括第一平台对应的网络结构文件区域Plat1-NetInfo’和第二平台分别对应的网络结构文件区域Plat2-NetInfo’，根据Plat1-NetInfo’中的文件内容，得到第一平台对应的网络层权重的索引，和/或根据Plat2-NetInfo’中的文件内容，得到第二平台对应的网络层权重的索引。

例如，融合权重文件区域中网络层权重包括LayerA、LayerB、LayerB’、LayerC。由Plat1-NetInfo’和Plat2-NetInfo’存储的网络层权重的索引，得到LayerA和LayerC均与第一平台和第二平台关联，LayerB和第一平台关联，LayerB’和第二平台关联。则根据第一平台对应的网络层权重的索引，确定融合编译文件的融合权重文件区域中第一平台关联的网络层权重包括LayerA、LayerB、LayerC，生成第一平台对应的网络权重文件区域，该网络权重文件区域用于记载LayerA、LayerB、LayerC对应的数据内容；根据第二平台对应的网络层权重的索引，确定融合编译文件的融合权重文件区域中第二平台关联的网络层权重包括LayerA、LayerB’、LayerC，生成第二平台对应的网络权重文件区域，该网络权重文件区域用于记载LayerA、LayerB’、LayerC对应的数据内容。

进一步地，融合编译文件中与第一平台匹配的文件内容包括文件基础信息区域Header、网络权重文件区域LayerA、LayerB、LayerC以及网络结构文件区域Plat1-NetInfo’，组合上述文件内容，得到第一平台模型文件；融合编译文件中与第二平台匹配的文件内容包括文件基础信息区域Header、网络权重文件区域LayerA、LayerB’、LayerC以及网络结构文件区域Plat2-NetInfo’，组合上述文件内容，得到第二平台模型文件。

将第一平台模型文件部署至第一平台和/或将第二平台模型文件部署至第二平台。

当然，图7仅是示意性说明，实际应用场景中还可以拆分得到更多平台对应的模型文件，本申请对此不进行限定。

本申请提供的多平台的模型部署方法，通过获取第一平台模型文件和第二平台模型文件；其中，第一平台模型文件和第二平台模型文件均是由基础神经网络模型编译得到的；对第一平台模型文件和第二平台模型文件进行并集融合，得到融合编译文件；将融合编译文件发送至模型部署端，以使模型部署端对融合编译文件进行裁剪，生成第一平台模型文件和/或第二平台模型文件，并将第一平台模型文件部署至第一平台和/或将第二平台模型文件部署至第二平台，由于得到的融合编译文件的文件大小小于每个平台编译得到的模型文件的文件大小之和，进而可以减少模型文件传输所需要的网络资源，还可以减少模型部署端存储模型文件所需要的存储资源，且不同平台可以得到其分别对应的完整模型文件。

图9是本申请的一示例性实施例示出的多平台的模型部署装置的框图，该多平台的模型部署装置应用于模型生成端，如图9所示，该示例性的多平台的模型部署装置900包括：多平台文件获取模块910、文件融合模块920和文件发送模块930。具体地：

多平台文件获取模块910，用于获取第一平台模型文件和第二平台模型文件；其中，第一平台模型文件和第二平台模型文件均是由基础神经网络模型编译得到的；

文件融合模块920，用于对第一平台模型文件和第二平台模型文件进行并集融合，得到融合编译文件；

文件发送模块930，用于将融合编译文件发送至模型部署端，以使模型部署端对融合编译文件进行裁剪，生成第一平台模型文件和/或第二平台模型文件，并将第一平台模型文件部署至第一平台和/或将第二平台模型文件部署至第二平台。

图10是本申请的另一示例性实施例示出的多平台的模型部署装置的框图，该多平台的模型部署装置应用于模型部署端，如图10所示，该示例性的多平台的模型部署装置1000包括：文件接收模块1010、文件裁剪模块1020和模型部署模块1030。具体地：

文件接收模块1010，用于接收融合编译文件，融合编译文件是模型部署端对第一平台模型文件和第二平台模型文件进行并集融合后得到的，第一平台模型文件和第二平台模型文件均是由基础神经网络模型训练编译得到的；

文件裁剪模块1020，用于对融合编译文件进行裁剪，生成第一平台模型文件和/或第二平台模型文件；

模型部署模块1030，用于将第一平台模型文件部署至第一平台和/或将第二平台模型文件部署至第二平台。

需要说明的是，上述实施例所提供的多平台的模型部署装置与上述实施例所提供的多平台的模型部署方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。上述实施例所提供的多平台的模型部署装置在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能，本处不对此进行限制。

请参阅图11，图11是本申请电子设备一实施例的结构示意图。电子设备1100包括存储器1101和处理器1102，处理器1102用于执行存储器1101中存储的程序指令，以实现上述任一多平台的模型部署方法实施例中的步骤。在一个具体的实施场景中，电子设备1100可以包括但不限于：微型计算机、服务器，此外，电子设备1100还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。

具体而言，处理器1102用于控制其自身以及存储器1101以实现上述任一多平台的模型部署方法实施例中的步骤。处理器1102还可以称为中央处理单元（CentralProcessing Unit，CPU）。处理器1102可能是一种集成电路芯片，具有信号的处理能力。处理器1102还可以是通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器1102可以由集成电路芯片共同实现。

请参阅图12，图12是本申请计算机可读存储介质一实施例的结构示意图。计算机可读存储介质1200存储有能够被处理器运行的程序指令1210，程序指令1210用于实现上述任一多平台的模型部署方法实施例中的步骤。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (9)

1.一种多平台的模型部署方法，其特征在于，应用于模型生成端，包括：

获取第一平台模型文件和第二平台模型文件；其中，所述第一平台模型文件和所述第二平台模型文件均是由基础神经网络模型编译得到的；

对所述第一平台模型文件和所述第二平台模型文件进行并集融合，得到融合编译文件；

将所述融合编译文件发送至模型部署端，以使所述模型部署端从所述融合编译文件中提取与所述第一平台匹配的文件内容和/或与所述第二平台匹配的文件内容，得到所述第一平台模型文件和/或所述第二平台模型文件，并将所述第一平台模型文件部署至第一平台和/或将所述第二平台模型文件部署至第二平台；

其中，对所述第一平台模型文件和所述第二平台模型文件进行并集融合，得到融合编译文件，包括：

删除所述第一平台模型文件和所述第二平台模型文件之间的冗余文件数据，保留所述第一平台模型文件和所述第二平台模型文件之间的差异文件数据，以得到含有所述第一平台模型文件和所述第二平台模型文件的所有文件元素的融合编译文件；在所述第一平台模型文件和所述第二平台模型文件进行并集融合时，进行对比的文件粒度包括单个神经元和/或单个网络层和/或多个网络层。

2.根据权利要求1所述的方法，其特征在于，所述第一平台模型文件、所述第二平台模型文件和所述融合编译文件均采用相同的文件格式。

3.根据权利要求2所述的方法，其特征在于，所述文件格式包括网络权重文件区域，所述网络权重文件区域用于存储每个网络层权重；所述对所述第一平台模型文件和所述第二平台模型文件进行并集融合，得到融合编译文件，包括：

确定所述第一平台模型文件和所述第二平台模型文件的网络权重文件区域之间的冗余网络层权重和差异网络层权重；

删除所述冗余网络层权重并保留所述差异网络层权重，得到融合权重文件区域；

基于所述融合权重文件区域，生成融合编译文件。

4.根据权利要求3所述的方法，其特征在于，所述文件格式还包括网络结构文件区域，所述网络结构文件区域含有所述每个网络层权重的索引；所述基于所述融合权重文件区域，生成融合编译文件，包括：

基于所述融合权重文件区域中每个网络层权重的位置信息，分别更新所述第一平台模型文件和所述第二平台模型文件中网络结构文件区域的网络层权重的索引；

对更新后的所述第一平台模型文件和所述第二平台模型文件中的网络结构文件区域进行并集融合，得到融合结构文件区域；

结合所述融合权重文件区域和所述融合结构文件区域，得到融合编译文件。

5.一种多平台的模型部署方法，其特征在于，应用于模型部署端，包括：

接收融合编译文件，所述融合编译文件是模型生成端对第一平台模型文件和第二平台模型文件进行并集融合后得到的，所述第一平台模型文件和所述第二平台模型文件均是由基础神经网络模型编译得到的；其中，对第一平台模型文件和第二平台模型文件进行并集融合，包括：删除所述第一平台模型文件和所述第二平台模型文件之间的冗余文件数据，保留所述第一平台模型文件和所述第二平台模型文件之间的差异文件数据，以得到含有所述第一平台模型文件和所述第二平台模型文件的所有文件元素的融合编译文件；在对所述第一平台模型文件和所述第二平台模型文件进行并集融合时，进行对比的文件粒度包括单个神经元和/或单个网络层和/或多个网络层；

对所述融合编译文件进行裁剪，生成所述第一平台模型文件和/或所述第二平台模型文件；

将所述第一平台模型文件部署至第一平台和/或将所述第二平台模型文件部署至第二平台；

其中，所述对所述融合编译文件进行裁剪，生成所述第一平台模型文件和/或所述第二平台模型文件，包括：

接收模型部署请求，所述模型部署请求用于指示对目标平台进行模型部署，所述目标平台包括第一平台和/或第二平台；

从所述融合编译文件中提取与所述第一平台匹配的文件内容和/或与所述第二平台匹配的文件内容，得到所述第一平台模型文件和/或所述第二平台模型文件。

6.根据权利要求5所述的方法，其特征在于，所述融合编译文件中包括融合权重文件区域，所述融合权重文件区域用于存储所述第一平台关联的网络层权重和所述第二平台关联的网络层权重；所述从所述融合编译文件中提取与所述第一平台匹配的文件内容和/或与所述第二平台匹配的文件内容，得到所述第一平台模型文件和/或所述第二平台模型文件，包括：

确定所述融合编译文件的融合权重文件区域中所述第一平台关联的网络层权重和/或所述第二平台关联的网络层权重，生成所述第一平台对应的网络权重文件区域和/或所述第二平台对应的网络权重文件区域；

基于所述第一平台对应的网络权重文件区域，生成所述第一平台模型文件；和/或基于所述第二平台对应的网络权重文件区域，生成所述第二平台模型文件。

7.根据权利要求6所述的方法，其特征在于，所述融合编译文件中还包括所述第一平台和所述第二平台分别对应的网络结构文件区域，所述网络结构文件区域含有所述网络层权重的索引；所述确定所述融合编译文件的融合权重文件区域中所述第一平台关联的网络层权重和/或所述第二平台关联的网络层权重，生成所述第一平台对应的网络权重文件区域和/或所述第二平台对应的网络权重文件区域，包括：

获取所述融合编译文件中所述第一平台和/或所述第二平台对应的网络结构文件区域中的文件内容，得到所述第一平台和/或所述第二平台对应的网络层权重的索引；

基于所述第一平台对应的网络层权重的索引，确定所述融合编译文件中与所述第一平台关联的网络层权重，生成所述第一平台对应的网络权重文件区域；和/或基于所述第二平台对应的网络层权重的索引，确定所述融合编译文件中与所述第二平台关联的网络层权重，生成所述第二平台对应的网络权重文件区域。

8.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现如权利要求1-7任一项所述方法中的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有程序指令，所述程序指令能够被处理器执行以实现如权利要求1-7任一项所述方法中的步骤。