CN115730472A - 模型部署方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供一种模型部署方法、装置、电子设备及存储介质。所述方法包括：确定待执行的模型；确定芯片上设置的M个处理核，所述M为大于1的整数；根据所述M个处理核对所述模型进行拆分处理，得到每个处理核对应的目标子模型，每个处理核执行对应的目标子模型的执行时长相同；将所述目标子模型部署在对应的处理核上。以上方案，以每个处理核执行时长相同为标准部署的模型，可以避免部分处理核执行时间过长而拖慢整体执行时长，从而有效提升模型执行效率。

Description

模型部署方法、装置、电子设备及存储介质

技术领域

本申请涉及人工智能技术领域，尤其涉及一种模型部署方法、装置、电子设备及存储介质。

背景技术

对于开发完成的人工智能模型，需要部署在芯片上才能执行任务。芯片上包含多个处理核，每个处理核能独立执行任务，将人工智能模型拆分后分配给多个处理核实现串行执行任务可以提升执行效率。

实际应用中，每个处理核具有不同的性能参数，人工智能模型的拆分没有统一的标准，导致多个处理核实现串行执行任务时，其中部分处理核的执行时间过长而拖慢了任务的整体执行效率。因此，如何有效的部署人工智能模型，是提升人工智能模型执行任务的效率的关键。

发明内容

本申请提供一种模型部署方法、装置、电子设备及存储介质，用于提升模型执行任务的效率。

第一方面，本申请提供一种模型部署方法，包括：确定待执行的模型；确定芯片上设置的M个处理核，所述M为大于1的整数；根据所述M个处理核对所述模型进行拆分处理，得到每个处理核对应的目标子模型，每个处理核执行对应的目标子模型的执行时长相同；将所述目标子模型部署在对应的处理核上。

在一种可能的实施方式中，根据所述M个处理核对所述模型进行拆分处理，得到每个处理核对应的目标子模型，包括：获取所述模型中包括的D个算子，所述D为大于1的整数；获取每个算子的运算量和每个处理核的性能参数；根据每个算子的运算量和每个处理核的性能参数，对所述D个算子进行分组处理，得到每个处理核对应的目标子模型，所述目标子模型包括至少一个算子。

在一种可能的实施方式中，根据每个算子的运算量和每个处理核的性能参数，对所述D个算子进行分组处理，得到每个处理核对应的目标子模型，包括：根据每个算子的运算量和每个处理核的性能参数，确定每个处理核执行每个算子的第一执行时长；根据每个处理核执行每个算子的第一执行时长，对所述D个算子进行分组处理，得到每个处理核对应的目标子模型。

在一种可能的实施方式中，根据每个处理核执行每个算子的第一执行时长，对所述D个算子进行分组处理，得到每个处理核对应的目标子模型，包括：确定每个处理核对应的初始子模型，所述初始子模型中包括至少一个算子；确定每个处理核执行初始子模型所需的第二执行时长；根据每个处理核执行初始子模型所需的第二执行时长，对所述初始子模型中的算子进行调换处理，直至每个处理核执行对应的初始子模型所需的第二执行时长相同时，将所述处理核对应的初始子模型确定为所述处理核对应的目标子模型。

在一种可能的实施方式中，确定每个处理核对应的初始子模型，包括：根据所述D和所述M，确定每个初始子模型中包括的算子的初始数量；根据所述初始数量，将所述D个算子划分为M组算子，每组算子中包括所述初始数量个算子；针对任意一个处理核，将所述M组算子中的一组算子确定为所述处理核对应的初始子模型。

在一种可能的实施方式中，根据每个处理核执行初始子模型所需的第二执行时长，对所述初始子模型中的算子进行调换处理，直至每个处理核执行对应的初始子模型所需的第二执行时长相同时，将所述处理核对应的初始子模型确定为所述处理核对应的目标子模型，包括：根据每个处理核执行初始子模型所需的第二执行时长，对所述初始子模型中的算子进行调换处理，直至每个处理核执行对应的初始子模型所需的第二执行时长相同时，将所述初始子模型确定为待选子模型；针对任意一个处理核，若所述处理核对应的待选子模型的数量大于1，则确定每个待选子模型对应的第二执行时长，并将对应的第二执行时长最短的待选子模型确定为所述目标子模型。

在一种可能的实施方式中，所述方法还包括：生成部署方案，所述部署方案中包括各处理核对应的目标子模型、以及各目标子模型中包括的算子的标识；向预设终端设备发送所述部署方案。

在一种可能的实施方式中，所述方法还包括：获取待处理的至少一个任务；通过所述M个处理核中的目标子模型，对所述至少一个任务进行处理，得到任务执行结果。

在一种可能的实施方式中，所述至少一个任务的数量为1；通过所述M个处理核中的目标子模型，对所述至少一个任务进行处理，得到任务执行结果，包括：确定所述M个处理核的执行顺序、以及每个处理核的执行开始时刻；根据所述执行顺序、以及每个处理核的执行开始时刻，通过所述M个处理核中的目标子模型对所述任务进行处理，得到所述任务处理结果。

在一种可能的实施方式中，所述至少一个任务的数量大于1；通过所述M个处理核中的目标子模型，对所述至少一个任务进行处理，得到任务执行结果，包括：确定所述M个处理核的执行顺序、以及每个处理核对每个任务的执行开始时刻；根据所述执行顺序、以及每个处理核对每个任务的执行开始时刻，通过所述M个处理核中的目标子模型对所述至少一个任务进行并行处理，得到所述任务处理结果。

第二方面，本申请提供一种模型部署装置，包括：确定模块，用于确定待执行的模型；所述确定模块，还用于确定芯片上设置的M个处理核，所述M为大于1的整数；拆分模块，用于根据所述M个处理核对所述模型进行拆分处理，得到每个处理核对应的目标子模型，每个处理核执行对应的目标子模型的执行时长相同；部署模块，用于将所述目标子模型部署在对应的处理核上。

在一种可能的实施方式中，所述拆分模块，具体用于获取所述模型中包括的D个算子，所述D为大于1的整数；所述拆分模块，具体还用于获取每个算子的运算量和每个处理核的性能参数；所述拆分模块，具体还用于根据每个算子的运算量和每个处理核的性能参数，对所述D个算子进行分组处理，得到每个处理核对应的目标子模型，所述目标子模型包括至少一个算子。

在一种可能的实施方式中，所述拆分模块，具体用于根据每个算子的运算量和每个处理核的性能参数，确定每个处理核执行每个算子的第一执行时长；所述拆分模块，具体还用于根据每个处理核执行每个算子的第一执行时长，对所述D个算子进行分组处理，得到每个处理核对应的目标子模型。

在一种可能的实施方式中，所述装置还包括：处理模块，用于确定每个处理核对应的初始子模型，所述初始子模型中包括至少一个算子；所述处理模块，还用于确定每个处理核执行初始子模型所需的第二执行时长；所述处理模块，还用于根据每个处理核执行初始子模型所需的第二执行时长，对所述初始子模型中的算子进行调换处理，直至每个处理核执行对应的初始子模型所需的第二执行时长相同时，将所述处理核对应的初始子模型确定为所述处理核对应的目标子模型。

在一种可能的实施方式中，所述处理模块，具体用于根据所述D和所述M，确定每个初始子模型中包括的算子的初始数量；所述处理模块，具体还用于根据所述初始数量，将所述D个算子划分为M组算子，每组算子中包括所述初始数量个算子；所述处理模块，具体还用于针对任意一个处理核，将所述M组算子中的一组算子确定为所述处理核对应的初始子模型。

在一种可能的实施方式中，所述处理模块，具体用于根据每个处理核执行初始子模型所需的第二执行时长，对所述初始子模型中的算子进行调换处理，直至每个处理核执行对应的初始子模型所需的第二执行时长相同时，将所述初始子模型确定为待选子模型；所述处理模块，具体还用于针对任意一个处理核，若所述处理核对应的待选子模型的数量大于1，则确定每个待选子模型对应的第二执行时长，并将对应的第二执行时长最短的待选子模型确定为所述目标子模型。

在一种可能的实施方式中，所述装置还包括：生成模块，用于生成部署方案，所述部署方案中包括各处理核对应的目标子模型、以及各目标子模型中包括的算子的标识；发送模块，用于向预设终端设备发送所述部署方案。

在一种可能的实施方式中，所述装置还包括：获取模块，用于获取待处理的至少一个任务；执行模块，用于通过所述M个处理核中的目标子模型，对所述至少一个任务进行处理，得到任务执行结果。

在一种可能的实施方式中，所述至少一个任务的数量为1；所述执行模块，具体用于确定所述M个处理核的执行顺序、以及每个处理核的执行开始时刻；所述执行模块，具体还用于根据所述执行顺序、以及每个处理核的执行开始时刻，通过所述M个处理核中的目标子模型对所述任务进行处理，得到所述任务处理结果。

在一种可能的实施方式中，所述至少一个任务的数量大于1；所述执行模块，具体用于确定所述M个处理核的执行顺序、以及每个处理核对每个任务的执行开始时刻；所述执行模块，具体还用于根据所述执行顺序、以及每个处理核对每个任务的执行开始时刻，通过所述M个处理核中的目标子模型对所述至少一个任务进行并行处理，得到所述任务处理结果。

第三方面，本申请提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，以实现第一方面中任一项所述的方法。

第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行如第一方面中任一项所述的方法。

本申请提供的模型部署方法、装置、电子设备及存储介质，确定待执行的模型；确定芯片上设置的M个处理核，所述M为大于1的整数；根据所述M个处理核对所述模型进行拆分处理，得到每个处理核对应的目标子模型，每个处理核执行对应的目标子模型的执行时长相同；将所述目标子模型部署在对应的处理核上。以上方案，以每个处理核执行时长相同为标准部署的模型，可以避免部分处理核执行时间过长而拖慢整体执行时长，从而有效提升模型执行效率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1为本申请实施例提供的一种模型部署方法的应用场景示意图；

图2为本申请实施例一提供的一种模型部署方法的流程示意图；

图3为本申请实施例提供的模型分组示例；

图4为本申请实施例提供的确定目标子模型示例；

图5为本申请实施例提供的确定目标子模型示例；

图6为本申请实施例一提供的一种模型部署方法的流程示意图；

图7为本申请实施例提供的并行处理示例；

图8为本申请实施例二提供的一种模型部署装置的结构示例图；

图9为本申请实施例二提供的一种模型部署装置的结构示例图；

图10为本申请实施例三提供的一种模型部署装置的装置框图；

图11为本申请实施例四中提供的一种电子设备的结构示意图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

首先对涉及的名词进行解释：

处理核：指芯片中具有独立功能的电路模块的成熟设计。

图1为本申请实施例提供的一种模型部署方法的应用场景示意图，结合图示的场景进行示例。根据芯片上的处理核的数量，确定子模型的数量，根据处理核执行子模型的执行时长来确定模型拆分为子模型的拆分方式。按照确定的拆分方式拆分得到的子模型部署在对应的处理核，每个处理核处理对应的子模型的执行时长一致。

下面以具体的实施例对本申请的技术方案以及本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。在本申请的描述中，除非另有明确的规定和限定，各术语应在本领域内做广义理解。下面将结合附图，对本申请的实施例进行描述。

实施例一

图2为本申请实施例一提供的一种模型部署方法的流程示意图，该方法包括以下步骤：

S201、确定待执行的模型；

其中，所述模型包括人工智能模型，人工智能模型的结构可以为前向无环图。

S202、确定芯片上设置的M个处理核，所述M为大于1的整数；

其中，所述处理核包括但不限于以下至少一种：中央处理器，数字信号处理器，图形处理器以及嵌入式神经网络处理器。

S203、根据所述M个处理核对所述模型进行拆分处理，得到每个处理核对应的目标子模型，每个处理核执行对应的目标子模型的执行时长相同；

S204、将所述目标子模型部署在对应的处理核上。

作为示例，该实施例的执行主体可以为模型部署装置，该模型部署装置的实现有多种。例如，可以为程序软件，也可以为存储有相关计算机程序的介质，例如，U盘等；或者，该装置还可以为集成或安装有相关计算机程序的实体设备，例如，芯片、智能终端、电脑、服务器等。

在一个示例中，S203具体包括：获取所述模型中包括的D个算子，所述D为大于1的整数；获取每个算子的运算量和每个处理核的性能参数；根据每个算子的运算量和每个处理核的性能参数，对所述D个算子进行分组处理，得到每个处理核对应的目标子模型，所述目标子模型包括至少一个算子。

结合场景示例来说，每个算子包括一个运算过程，运算过程有简单复杂区分，不同的复杂程度对应不同的运算量。每个处理核有不同的性能高低，通过性能参数可以量化。

基于以上实施方式，通过对算子和处理核量化，能够准确实现对算子的分组。

进一步的，在一个示例中，根据每个算子的运算量和每个处理核的性能参数，对所述D个算子进行分组处理，得到每个处理核对应的目标子模型，包括：根据每个算子的运算量和每个处理核的性能参数，确定每个处理核执行每个算子的第一执行时长；根据每个处理核执行每个算子的第一执行时长，对所述D个算子进行分组处理，得到每个处理核对应的目标子模型。

作为一种可实施的方式，根据量化的运算量和性能参数进行穷举计算，可以计算出每个处理核处理每个算子的第一执行时长。通过对所有第一执行时长的排列组合，得到多种分组方式，从而从中选取最优的分组方案。

基于以上实施方式，通过计算每个处理核执行每个算子的第一执行时长，得到多个分组方式，从而选择出最优的分组方式。

进一步的，在一个示例中，根据每个处理核执行每个算子的第一执行时长，对所述D个算子进行分组处理，得到每个处理核对应的目标子模型，包括：确定每个处理核对应的初始子模型，所述初始子模型中包括至少一个算子；确定每个处理核执行初始子模型所需的第二执行时长；根据每个处理核执行初始子模型所需的第二执行时长，对所述初始子模型中的算子进行调换处理，直至每个处理核执行对应的初始子模型所需的第二执行时长相同时，将所述处理核对应的初始子模型确定为所述处理核对应的目标子模型。

作为一种可实施的方式，如图3所示，图3为模型分组示例。对每个处理核建立与之对应的初始子模型，以及计算出处理核执行对应的初始子模型的第二执行时长。以每个第二执行时长相同为目标，进行算子调换，从而得到目标子模型。可以理解，每个处理核处理目标子模型的执行时长相同。

基于以上实施方式，根据处理核执行算子的第一时长计算得到第二时长，可以对第二执行时长的调整方式进行量化，从而模型部署的准确性。

在一个示例中，确定每个处理核对应的初始子模型，包括：根据所述D和所述M，确定每个初始子模型中包括的算子的初始数量；根据所述初始数量，将所述D个算子划分为M组算子，每组算子中包括所述初始数量个算子；针对任意一个处理核，将所述M组算子中的一组算子确定为所述处理核对应的初始子模型。

结合场景示例来说，如前述示例，每个处理核执行每个算子的执行时间不同，因此为了实现每个处理核执行子模型的时间相同，需要对每个子模型的算子进行规划。

作为一种可实施的方式，对每个子模型分配初始算子，根据每个处理核执行对应的子模型的初始算子的执行时间，来对初始算子进行调整，直至每个处理核执行对应的子模型的执行时间相同。

需要说明的是，本申请不限制算子规划的具体方式。

基于以上实施方式，将所有算子全部分配得到初始子模型，可以在此基础上按照预设的规则准确执行规划。

在一个示例中，根据每个处理核执行初始子模型所需的第二执行时长，对所述初始子模型中的算子进行调换处理，直至每个处理核执行对应的初始子模型所需的第二执行时长相同时，将所述处理核对应的初始子模型确定为所述处理核对应的目标子模型，包括：根据每个处理核执行初始子模型所需的第二执行时长，对所述初始子模型中的算子进行调换处理，直至每个处理核执行对应的初始子模型所需的第二执行时长相同时，将所述初始子模型确定为待选子模型；针对任意一个处理核，若所述处理核对应的待选子模型的数量大于1，则确定每个待选子模型对应的第二执行时长，并将对应的第二执行时长最短的待选子模型确定为所述目标子模型。

作为一种可实施的方式，如图4所示，图4为确定目标子模型示例。以第二执行时长相同作为算子调换的结束条件，每次算子调换，初始第二执行时长都会对应变动，若算子调换后，变动后的第二执行时长不同，则继续调换，直至第二执行时长相同。

举例来说，如图5所示，图5为确定目标子模型示例。模型有D个算子，模型拆分为4个子模型，每个子模型对应一个处理核，在完成算子调换后，第二执行时长为T。其中，处理核1执行子模型1的算子[1,A]的执行时长为T，处理核2执行子模型2的算子[A+1,B]的执行时长为T，处理核3执行子模型3的算子[B+1,C]的执行时长为T，处理核4执行子模型4的算子[C+1,D]的执行时长为T。

基于以上实施方式，通过循环执行算子调换，可以准确得到第二执行时长相同并且第二时长最短的子模型。

在一个示例中，模型部署方法还包括：生成部署方案，所述部署方案中包括各处理核对应的目标子模型、以及各目标子模型中包括的算子的标识；向预设终端设备发送所述部署方案。

作为一种可实施的方式，部署方案中包含处理核、目标子模型以及算子的对应关系，通过对应关系，研发人员可以直观看出模型如何执行任务。通过标识，研发人员可以在出现故障时，快速定位到故障的位置。

基于以上实施方式，通过包含对应关系的部署方案，便于研发人员直观分析模型的运行方式。

图6为本申请实施例一提供的一种模型部署方法的流程示意图，该方法包括以下步骤：

S301、获取待处理的至少一个任务；

其中，任务包括输入值，输入值输入模型，输出模型的处理结果。

S302、通过所述M个处理核中的目标子模型，对所述至少一个任务进行处理，得到任务执行结果。

在一个示例中，至少一个任务的数量为1，S302包括：确定所述M个处理核的执行顺序、以及每个处理核的执行开始时刻；根据所述执行顺序、以及每个处理核的执行开始时刻，通过所述M个处理核中的目标子模型对所述任务进行处理，得到所述任务处理结果。

作为一种可实施的方式，设置每个处理核的执行开始时刻的间隔为第二执行时长，由于每个处理核执行对应的子模型的时长均为第二执行时长，因此以第二执行时长为执行开始时刻的间隔，在前一个处理核执行完成后，后一个处理核可以直接执行而没有停顿。

基于以上实施方式，确定处理核的执行顺序、以及每个处理核的执行开始时刻，可以实现每个处理核执行子模型之前无缝切换，从而提升模型处理任务的效率

在一个示例中，至少一个任务的数量大于1；S302包括：确定所述M个处理核的执行顺序、以及每个处理核对每个任务的执行开始时刻；根据所述执行顺序、以及每个处理核对每个任务的执行开始时刻，通过所述M个处理核中的目标子模型对所述至少一个任务进行并行处理，得到所述任务处理结果。

作为一种可实施的方式，如图7所示，图7为并行处理示例。多个任务并行处理，每个任务的执行开始时刻与后一个任务的执行开始时刻的间隔为第二执行时长T。在处理任务时，同一时刻每个处理核只执行一个子模型，从T*3时刻开始，同一时刻每个处理核都在执行子模型，从T*4时刻开始，每个时刻均输出一个完成的任务。

举例来说，一方面，T*3时刻任务1的子模型4开始执行，T*3时刻任务2的子模型3开始执行，T*3时刻任务3的子模型2开始执行，T*3时刻任务4的子模型1开始执行，可以理解，T*3时刻每个处理核都在执行并且只执行一个子模型。另一方面，T*4时刻子模型4对应的处理核执行完成任务1的子模型4，紧接着开始执行任务2的子模型4。

基于以上实施方式，通过并行处理多个任务，每个处理核可以处于持续工作的状态，从而提示执行任务的效率。

本实施例提供的模型部署方法中，确定待执行的模型；确定芯片上设置的M个处理核，所述M为大于1的整数；根据所述M个处理核对所述模型进行拆分处理，得到每个处理核对应的目标子模型，每个处理核执行对应的目标子模型的执行时长相同；将所述目标子模型部署在对应的处理核上。以上方案，以每个处理核执行时长相同为标准部署的模型，可以避免部分处理核执行时间过长而拖慢整体执行时长，从而有效提升模型执行效率。

实施例二

图8为本申请实施例二提供的一种模型部署装置的结构示意图，如图8所示，所述模型部署装置包括：

确定模块81，用于确定待执行的模型；

其中，所述模型包括人工智能模型，人工智能模型的结构可以为前向无环图。

确定模块81，还用于确定芯片上设置的M个处理核，所述M为大于1的整数；

其中，所述处理核包括但不限于以下至少一种：中央处理器，数字信号处理器，图形处理器以及嵌入式神经网络处理器。

拆分模块82，用于根据所述M个处理核对所述模型进行拆分处理，得到每个处理核对应的目标子模型，每个处理核执行对应的目标子模型的执行时长相同；

部署模块83，用于将所述目标子模型部署在对应的处理核上。

在一个示例中，拆分模块82，具体用于获取所述模型中包括的D个算子，所述D为大于1的整数；拆分模块82，具体还用于获取每个算子的运算量和每个处理核的性能参数；拆分模块82，具体还用于根据每个算子的运算量和每个处理核的性能参数，对所述D个算子进行分组处理，得到每个处理核对应的目标子模型，所述目标子模型包括至少一个算子。

结合场景示例来说，每个算子包括一个运算过程，运算过程有简单复杂区分，不同的复杂程度对应不同的运算量。每个处理核有不同的性能高低，通过性能参数可以量化。

基于以上实施方式，通过对算子和处理核量化，能够准确实现对算子的分组。

进一步的，在一个示例中，拆分模块82，具体用于根据每个算子的运算量和每个处理核的性能参数，确定每个处理核执行每个算子的第一执行时长；拆分模块82，具体还用于根据每个处理核执行每个算子的第一执行时长，对所述D个算子进行分组处理，得到每个处理核对应的目标子模型。

作为一种可实施的方式，根据量化的运算量和性能参数进行穷举计算，可以计算出每个处理核处理每个算子的第一执行时长。通过对所有第一执行时长的排列组合，得到多种分组方式，从而从中选取最优的分组方案。

基于以上实施方式，通过计算每个处理核执行每个算子的第一执行时长，得到多个分组方式，从而选择出最优的分组方式。

进一步的，在一个示例中，模型部署装置还包括：处理模块84，用于确定每个处理核对应的初始子模型，所述初始子模型中包括至少一个算子；处理模块84，还用于确定每个处理核执行初始子模型所需的第二执行时长；处理模块84，还用于根据每个处理核执行初始子模型所需的第二执行时长，对所述初始子模型中的算子进行调换处理，直至每个处理核执行对应的初始子模型所需的第二执行时长相同时，将所述处理核对应的初始子模型确定为所述处理核对应的目标子模型。

作为一种可实施的方式，如图3所示，图3为模型分组示例。对每个处理核建立与之对应的初始子模型，以及计算出处理核执行对应的初始子模型的第二执行时长。以每个第二执行时长相同为目标，进行算子调换，从而得到目标子模型。可以理解，每个处理核处理目标子模型的执行时长相同。

基于以上实施方式，根据处理核执行算子的第一时长计算得到第二时长，可以对第二执行时长的调整方式进行量化，从而模型部署的准确性。

在一个示例中，处理模块84，具体用于根据所述D和所述M，确定每个初始子模型中包括的算子的初始数量；处理模块84，具体还用于根据所述初始数量，将所述D个算子划分为M组算子，每组算子中包括所述初始数量个算子；处理模块84，具体还用于针对任意一个处理核，将所述M组算子中的一组算子确定为所述处理核对应的初始子模型。

结合场景示例来说，如前述示例，每个处理核执行每个算子的执行时间不同，因此为了实现每个处理核执行子模型的时间相同，需要对每个子模型的算子进行规划。

作为一种可实施的方式，对每个子模型分配初始算子，根据每个处理核执行对应的子模型的初始算子的执行时间，来对初始算子进行调整，直至每个处理核执行对应的子模型的执行时间相同。

需要说明的是，本申请不限制算子规划的具体方式。

基于以上实施方式，将所有算子全部分配得到初始子模型，可以在此基础上按照预设的规则准确执行规划。

在一个示例中，处理模块84，具体用于根据每个处理核执行初始子模型所需的第二执行时长，对所述初始子模型中的算子进行调换处理，直至每个处理核执行对应的初始子模型所需的第二执行时长相同时，将所述初始子模型确定为待选子模型；处理模块84，具体还用于针对任意一个处理核，若所述处理核对应的待选子模型的数量大于1，则确定每个待选子模型对应的第二执行时长，并将对应的第二执行时长最短的待选子模型确定为所述目标子模型。

作为一种可实施的方式，如图4所示，图4为确定目标子模型示例。以第二执行时长相同作为算子调换的结束条件，每次算子调换，初始第二执行时长都会对应变动，若算子调换后，变动后的第二执行时长不同，则继续调换，直至第二执行时长相同。

举例来说，如图5所示，图5为确定目标子模型示例。模型有D个算子，模型拆分为4个子模型，每个子模型对应一个处理核，在完成算子调换后，第二执行时长为T。其中，处理核1执行子模型1的算子[1,A]的执行时长为T，处理核2执行子模型2的算子[A+1,B]的执行时长为T，处理核3执行子模型3的算子[B+1,C]的执行时长为T，处理核4执行子模型4的算子[C+1,D]的执行时长为T。

基于以上实施方式，通过循环执行算子调换，可以准确得到第二执行时长相同并且第二时长最短的子模型。

在一个示例中，模型部署装置还包括：生成模块75，用于生成部署方案，所述部署方案中包括各处理核对应的目标子模型、以及各目标子模型中包括的算子的标识；发送模块76，用于向预设终端设备发送所述部署方案。

作为一种可实施的方式，部署方案中包含处理核、目标子模型以及算子的对应关系，通过对应关系，研发人员可以直观看出模型如何执行任务。通过标识，研发人员可以在出现故障时，快速定位到故障的位置。

基于以上实施方式，通过包含对应关系的部署方案，便于研发人员直观分析模型的运行方式。

图9为本申请实施例二提供的一种模型部署装置的结构示意图，如图9所示，所述模型部署装置包括：

获取模块91，用于获取待处理的至少一个任务；

其中，任务包括输入值，输入值输入模型，输出模型的处理结果。

执行模块92，用于通过所述M个处理核中的目标子模型，对所述至少一个任务进行处理，得到任务执行结果。

在一个示例中，至少一个任务的数量为1，执行模块92，具体用于确定所述M个处理核的执行顺序、以及每个处理核的执行开始时刻；执行模块92，具体还用于根据所述执行顺序、以及每个处理核的执行开始时刻，通过所述M个处理核中的目标子模型对所述任务进行处理，得到所述任务处理结果。

作为一种可实施的方式，设置每个处理核的执行开始时刻的间隔为第二执行时长，由于每个处理核执行对应的子模型的时长均为第二执行时长，因此以第二执行时长为执行开始时刻的间隔，在前一个处理核执行完成后，后一个处理核可以直接执行而没有停顿。

基于以上实施方式，确定处理核的执行顺序、以及每个处理核的执行开始时刻，可以实现每个处理核执行子模型之前无缝切换，从而提升模型处理任务的效率

在一个示例中，至少一个任务的数量大于1；执行模块92，具体用于确定所述M个处理核的执行顺序、以及每个处理核对每个任务的执行开始时刻；执行模块92，具体还用于根据所述执行顺序、以及每个处理核对每个任务的执行开始时刻，通过所述M个处理核中的目标子模型对所述至少一个任务进行并行处理，得到所述任务处理结果。

作为一种可实施的方式，如图7所示，图7为并行处理示例。多个任务并行处理，每个任务的执行开始时刻与后一个任务的执行开始时刻的间隔为第二执行时长T。在处理任务时，同一时刻每个处理核只执行一个子模型，从T*3时刻开始，同一时刻每个处理核都在执行子模型，从T*4时刻开始，每个时刻均输出一个完成的任务。

举例来说，一方面，T*3时刻任务1的子模型4开始执行，T*3时刻任务2的子模型3开始执行，T*3时刻任务3的子模型2开始执行，T*3时刻任务4的子模型1开始执行，可以理解，T*3时刻每个处理核都在执行并且只执行一个子模型。另一方面，T*4时刻子模型4对应的处理核执行完成任务1的子模型4，紧接着开始执行任务2的子模型4。

基于以上实施方式，通过并行处理多个任务，每个处理核可以处于持续工作的状态，从而提示执行任务的效率。

本实施例提供的模型部署装置中，确定模块，用于确定待执行的模型；确定模块，还用于确定芯片上设置的M个处理核，所述M为大于1的整数；拆分模块，用于根据所述M个处理核对所述模型进行拆分处理，得到每个处理核对应的目标子模型，每个处理核执行对应的目标子模型的执行时长相同；部署模块，用于将所述目标子模型部署在对应的处理核上。以上方案，以每个处理核执行时长相同为标准部署的模型，可以避免部分处理核执行时间过长而拖慢整体执行时长，从而有效提升模型执行效率。

实施例三

图10是根据一示例性实施例示出的一种模型部署装置的装置框图，该装置可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出接口812，传感器组件814，以及通信组件816。

处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random-Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。

多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(Liquid Crystal Display，简称LCD)和触摸面板(Touch Panel，简称TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(Microphone，简称MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

输入/输出接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到装置800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，简称CMOS)图像传感器或电荷耦合元件(Charge-coupled Device，简称CCD)，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，第二代移动通信技术(2nd-GenerationCommunication Technology，简称2G)，第三代移动通信技术(3rd-GenerationCommunication Technology，简称3G)，第四代移动通信技术(4th-GenerationCommunication Technology，简称4G)或第五代移动通信技术(5th-GenerationCommunication Technology，简称5G)或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(Near Field Communication，简称NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(Radio Frequency Identification，简称RFID)技术，红外数据协会(Infrared Data Association，简称IrDA)技术，超宽带(UltraWide Band，简称UWB)技术，蓝牙(Bluetooth，简称BT)技术和其他技术来实现。

在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ApplicationSpecific Integrated Circuit，简称ASIC)、数字信号处理器(Digital Signal Process，简称DSP)、数字信号处理设备(Digital Signal Process Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field ProgrammableGate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(Random Access Memory，简称RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

实施例四

图11为本申请实施例中提供的一种电子设备的结构示意图，如图11所示，该电子设备包括：

处理器(processor)291，电子设备还包括了存储器(memory)292；还可以包括通信接口(Communication Interface)293和总线294。其中，处理器291、存储器292、通信接口293、可以通过总线294完成相互间的通信。通信接口293可以用于信息传输。处理器291可以调用存储器292中的逻辑指令，以执行上述实施例的方法。

此外，上述的存储器292中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

存储器292作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本申请实施例中的方法对应的程序指令/模块。处理器291通过运行存储在存储器292中的软件程序、指令以及模块，从而执行功能应用以及数据处理，即实现上述方法实施例中的方法。

存储器292可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器292可以包括高速随机存取存储器，还可以包括非易失性存储器。

本申请实施例提供一种非临时性计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如前述实施例所述的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (22)

1.一种模型部署方法，其特征在于，包括：

确定待执行的模型；

确定芯片上设置的M个处理核，所述M为大于1的整数；

根据所述M个处理核对所述模型进行拆分处理，得到每个处理核对应的目标子模型，每个处理核执行对应的目标子模型的执行时长相同；

将所述目标子模型部署在对应的处理核上。

2.根据权利要求1所述的方法，其特征在于，根据所述M个处理核对所述模型进行拆分处理，得到每个处理核对应的目标子模型，包括：

获取所述模型中包括的D个算子，所述D为大于1的整数；

获取每个算子的运算量和每个处理核的性能参数；

根据每个算子的运算量和每个处理核的性能参数，对所述D个算子进行分组处理，得到每个处理核对应的目标子模型，所述目标子模型包括至少一个算子。

3.根据权利要求2所述的方法，其特征在于，根据每个算子的运算量和每个处理核的性能参数，对所述D个算子进行分组处理，得到每个处理核对应的目标子模型，包括：

根据每个算子的运算量和每个处理核的性能参数，确定每个处理核执行每个算子的第一执行时长；

根据每个处理核执行每个算子的第一执行时长，对所述D个算子进行分组处理，得到每个处理核对应的目标子模型。

4.根据权利要求3所述的方法，其特征在于，根据每个处理核执行每个算子的第一执行时长，对所述D个算子进行分组处理，得到每个处理核对应的目标子模型，包括：

确定每个处理核对应的初始子模型，所述初始子模型中包括至少一个算子；

确定每个处理核执行初始子模型所需的第二执行时长；

根据每个处理核执行初始子模型所需的第二执行时长，对所述初始子模型中的算子进行调换处理，直至每个处理核执行对应的初始子模型所需的第二执行时长相同时，将所述处理核对应的初始子模型确定为所述处理核对应的目标子模型。

5.根据权利要求4所述的方法，其特征在于，确定每个处理核对应的初始子模型，包括：

根据所述D和所述M，确定每个初始子模型中包括的算子的初始数量；

根据所述初始数量，将所述D个算子划分为M组算子，每组算子中包括所述初始数量个算子；

针对任意一个处理核，将所述M组算子中的一组算子确定为所述处理核对应的初始子模型。

6.根据权利要求4或5所述的方法，其特征在于，根据每个处理核执行初始子模型所需的第二执行时长，对所述初始子模型中的算子进行调换处理，直至每个处理核执行对应的初始子模型所需的第二执行时长相同时，将所述处理核对应的初始子模型确定为所述处理核对应的目标子模型，包括：

根据每个处理核执行初始子模型所需的第二执行时长，对所述初始子模型中的算子进行调换处理，直至每个处理核执行对应的初始子模型所需的第二执行时长相同时，将所述初始子模型确定为待选子模型；

针对任意一个处理核，若所述处理核对应的待选子模型的数量大于1，则确定每个待选子模型对应的第二执行时长，并将对应的第二执行时长最短的待选子模型确定为所述目标子模型。

7.根据权利要求1-6中任意一项所述的方法，其特征在于，所述方法还包括：

生成部署方案，所述部署方案中包括各处理核对应的目标子模型、以及各目标子模型中包括的算子的标识；

向预设终端设备发送所述部署方案。

8.根据权利要求1-7中任意一项所述的方法，其特征在于，所述方法还包括：

获取待处理的至少一个任务；

通过所述M个处理核中的目标子模型，对所述至少一个任务进行处理，得到任务执行结果。

9.根据权利要求8所述的方法，其特征在于，所述至少一个任务的数量为1；通过所述M个处理核中的目标子模型，对所述至少一个任务进行处理，得到任务执行结果，包括：

确定所述M个处理核的执行顺序、以及每个处理核的执行开始时刻；

根据所述执行顺序、以及每个处理核的执行开始时刻，通过所述M个处理核中的目标子模型对所述任务进行处理，得到所述任务处理结果。

10.根据权利要求8所述的方法，其特征在于，所述至少一个任务的数量大于1；通过所述M个处理核中的目标子模型，对所述至少一个任务进行处理，得到任务执行结果，包括：

确定所述M个处理核的执行顺序、以及每个处理核对每个任务的执行开始时刻；

根据所述执行顺序、以及每个处理核对每个任务的执行开始时刻，通过所述M个处理核中的目标子模型对所述至少一个任务进行并行处理，得到所述任务处理结果。

11.一种模型部署装置，其特征在于，包括：

确定模块，用于确定待执行的模型；

所述确定模块，还用于确定芯片上设置的M个处理核，所述M为大于1的整数；

拆分模块，用于根据所述M个处理核对所述模型进行拆分处理，得到每个处理核对应的目标子模型，每个处理核执行对应的目标子模型的执行时长相同；

部署模块，用于将所述目标子模型部署在对应的处理核上。

12.根据权利要求11所述的装置，其特征在于，

所述拆分模块，具体用于获取所述模型中包括的D个算子，所述D为大于1的整数；

所述拆分模块，具体还用于获取每个算子的运算量和每个处理核的性能参数；

所述拆分模块，具体还用于根据每个算子的运算量和每个处理核的性能参数，对所述D个算子进行分组处理，得到每个处理核对应的目标子模型，所述目标子模型包括至少一个算子。

13.根据权利要求12所述的装置，其特征在于，

所述拆分模块，具体用于根据每个算子的运算量和每个处理核的性能参数，确定每个处理核执行每个算子的第一执行时长；

所述拆分模块，具体还用于根据每个处理核执行每个算子的第一执行时长，对所述D个算子进行分组处理，得到每个处理核对应的目标子模型。

14.根据权利要求13所述的装置，其特征在于，所述装置还包括：

处理模块，用于确定每个处理核对应的初始子模型，所述初始子模型中包括至少一个算子；

所述处理模块，还用于确定每个处理核执行初始子模型所需的第二执行时长；

所述处理模块，还用于根据每个处理核执行初始子模型所需的第二执行时长，对所述初始子模型中的算子进行调换处理，直至每个处理核执行对应的初始子模型所需的第二执行时长相同时，将所述处理核对应的初始子模型确定为所述处理核对应的目标子模型。

15.根据权利要求14所述的装置，其特征在于，

所述处理模块，具体用于根据所述D和所述M，确定每个初始子模型中包括的算子的初始数量；

所述处理模块，具体还用于根据所述初始数量，将所述D个算子划分为M组算子，每组算子中包括所述初始数量个算子；

所述处理模块，具体还用于针对任意一个处理核，将所述M组算子中的一组算子确定为所述处理核对应的初始子模型。

16.根据权利要求14或15所述的装置，其特征在于，

所述处理模块，具体用于根据每个处理核执行初始子模型所需的第二执行时长，对所述初始子模型中的算子进行调换处理，直至每个处理核执行对应的初始子模型所需的第二执行时长相同时，将所述初始子模型确定为待选子模型；

所述处理模块，具体还用于针对任意一个处理核，若所述处理核对应的待选子模型的数量大于1，则确定每个待选子模型对应的第二执行时长，并将对应的第二执行时长最短的待选子模型确定为所述目标子模型。

17.根据权利要求11-16中任意一项所述的装置，其特征在于，所述装置还包括：

生成模块，用于生成部署方案，所述部署方案中包括各处理核对应的目标子模型、以及各目标子模型中包括的算子的标识；

发送模块，用于向预设终端设备发送所述部署方案。

18.根据权利要求11-17中任意一项所述的装置，其特征在于，所述装置还包括：

获取模块，用于获取待处理的至少一个任务；

执行模块，用于通过所述M个处理核中的目标子模型，对所述至少一个任务进行处理，得到任务执行结果。

19.根据权利要求18所述的装置，其特征在于，所述至少一个任务的数量为1；

所述执行模块，具体用于确定所述M个处理核的执行顺序、以及每个处理核的执行开始时刻；

所述执行模块，具体还用于根据所述执行顺序、以及每个处理核的执行开始时刻，通过所述M个处理核中的目标子模型对所述任务进行处理，得到所述任务处理结果。

20.根据权利要求18所述的装置，其特征在于，所述至少一个任务的数量大于1；

所述执行模块，具体用于确定所述M个处理核的执行顺序、以及每个处理核对每个任务的执行开始时刻；

所述执行模块，具体还用于根据所述执行顺序、以及每个处理核对每个任务的执行开始时刻，通过所述M个处理核中的目标子模型对所述至少一个任务进行并行处理，得到所述任务处理结果。

21.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1-10中任一项所述的方法。

22.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-10中任一项所述的方法。

Images