CN115829006A - 神经网络模型的编译方法、装置、电子设备和存储介质 - Google Patents

Abstract

本公开实施例公开了一种神经网络模型的编译方法、装置、电子设备和存储介质，其中，方法包括：获取待编译神经网络模型；基于待编译神经网络模型，确定待编译神经网络模型对应的初始计算图，初始计算图包括至少一个第一计算子图；确定各第一计算子图中包括预设算子节点的第二计算子图，根据第二计算子图的输入张量将第二计算子图切分为第一数量的目标计算子图；根据预设依赖规则，建立第一数量的目标计算子图之间的依赖关系，获得第二计算子图对应的第一依赖图；基于各第二计算子图分别对应的第一依赖图，生成待编译神经网络模型对应的目标指令序列。本公开实施例可以避免指令调度陷入假并行度过高导致的贪心陷阱，有效提高指令调度效率。

Description

神经网络模型的编译方法、装置、电子设备和存储介质

技术领域

本公开涉及人工智能技术，尤其是一种神经网络模型的编译方法、装置、电子设备和存储介质。

背景技术

随着人工智能(AI)技术的飞速发展，在如自动驾驶等场景中，对神经网络模型训练或推理处理速度的要求不断提高，为了减少训练或推理时间，AI芯片对神经网络编译器有一定的需求，通常需要在神经网络模型的编译过程中将神经网络模型的计算图中的算子节点的输入张量进行切分，以分配给多个计算单元执行，但是现有技术对于切分后的输入张量的运算，容易存在假并行度过高的情况，从而导致贪心陷阱，使得在生成芯片可执行的目标指令序列时，让算子对应的指令调度陷入甄别各并行的算子的泥潭中，降低指令的调度效率。

发明内容

为了解决上述指令调度效率较低等技术问题，提出了本公开。本公开的实施例提供了一种神经网络模型的编译方法、装置、电子设备和存储介质。

根据本公开实施例的一个方面，提供了一种神经网络模型的编译方法，包括：获取待编译神经网络模型；基于所述待编译神经网络模型，确定所述待编译神经网络模型对应的初始计算图，所述初始计算图包括至少一个第一计算子图，每个所述第一计算子图包括至少一个算子节点及各所述算子节点之间的连接关系；确定各所述第一计算子图中包括预设算子节点的第二计算子图，根据所述第二计算子图的输入张量将所述第二计算子图切分为第一数量的目标计算子图；根据预设依赖规则，建立所述第一数量的所述目标计算子图之间的依赖关系，获得所述第二计算子图对应的第一依赖图，所述依赖关系用于表征各所述目标计算子图之间的计算顺序；基于各所述第二计算子图分别对应的所述第一依赖图，生成所述待编译神经网络模型对应的目标指令序列。

根据本公开实施例的另一个方面，提供了一种神经网络模型的编译装置，包括：第一获取模块，用于获取待编译神经网络模型；第一处理模块，用于基于所述待编译神经网络模型，确定所述待编译神经网络模型对应的初始计算图，所述初始计算图包括至少一个第一计算子图，每个所述第一计算子图包括至少一个算子节点及各所述算子节点之间的连接关系；第二处理模块，用于确定各所述第一计算子图中包括预设算子节点的第二计算子图，根据所述第二计算子图的输入张量将所述第二计算子图切分为第一数量的目标计算子图；第三处理模块，用于根据预设依赖规则，建立所述第一数量的所述目标计算子图之间的依赖关系，获得所述第二计算子图对应的第一依赖图，所述依赖关系用于表征各所述目标计算子图之间的计算顺序；第四处理模块，用于基于各所述第二计算子图分别对应的所述第一依赖图，生成所述待编译神经网络模型对应的目标指令序列。

根据本公开实施例的再一方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本公开上述任一实施例所述的神经网络模型的编译方法。

根据本公开实施例的又一方面，提供一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本公开上述任一实施例所述的神经网络模型的编译方法。

基于本公开上述实施例提供的神经网络模型的编译方法、装置、电子设备和存储介质，通过对待编译神经网络模型对应的初始计算图中包括预设算子节点的第二计算子图进行切分后，建立切分获得的目标计算子图之间的依赖关系，用于控制目标计算子图的计算顺序，从而可以避免指令调度陷入假并行度过高导致的贪心陷阱，有效提高指令调度效率。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

附图说明

通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本公开提供的神经网络模型的编译方法的一个示例性的应用场景；

图2是本公开一示例性实施例提供的神经网络模型的编译方法的流程示意图；

图3是本公开一示例性实施例提供的第一计算子图的示意图；

图4是本公开一示例性实施例提供的第二计算子图的切分原理示意图；

图5是本公开另一示例性实施例提供的神经网络模型的编译方法的流程示意图；

图6是本公开一示例性实施例提供的第一依赖图的示意图；

图7是本公开再一示例性实施例提供的神经网络模型的编译方法的流程示意图；

图8是本公开另一示例性实施例提供的第一依赖图的示意图；

图9是本公开一示例性实施例提供的调度滑动窗口的示意图；

图10是本公开又一示例性实施例提供的神经网络模型的编译方法的流程示意图；

图11是本公开一示例性实施例提供的矩阵相乘操作类型对应的切分原理示意图；

图12是本公开一示例性实施例提供的神经网络模型的编译装置的结构示意图；

图13是本公开一示例性实施例提供的神经网络模型的编译装置的结构示意图；

图14是本公开电子设备一个应用实施例的结构示意图。

具体实施方式

下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。

应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。

还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。

另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。

还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。

终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

本公开概述

在实现本公开的过程中，发明人发现，随着人工智能(AI)技术的飞速发展，在如自动驾驶等场景中，对神经网络模型训练或推理处理速度的要求不断提高，为了减少训练或推理时间，AI芯片对神经网络编译器有一定的需求，通常需要在神经网络模型的编译过程中将神经网络模型的计算图中的算子节点的输入张量进行切分，以分配给多个计算单元执行，但是现有技术对于切分后的输入张量的运算，容易存在假并行度过高的情况，从而导致贪心陷阱，使得在生成芯片可执行的目标指令序列时，让算子对应的指令调度陷入甄别各并行的算子的泥潭中，降低指令的调度效率。

示例性概述

图1是本公开提供的神经网络模型的编译方法的一个示例性的应用场景。

在自动驾驶场景，利用本公开的神经网络模型的编译方法(在神经网络模型的编译装置执行)，可以基于待编译神经网络模型确定待编译神经网络模型对应的初始计算图，初始计算图包括至少一个第一计算子图，每个第一计算子图包括至少一个算子节点及各算子节点之间的连接关系，基于初始计算图确定各第一计算子图中包括预设算子节点的第二计算子图，根据第二计算子图的输入张量将第二计算子图切分为第一数量的目标计算子图，根据预设依赖规则，建立第一数量的目标计算子图之间的依赖关系，获得第二计算子图对应的第一依赖图，依赖关系用于表征各目标计算子图之间的计算顺序，进而基于各第二计算子图分别对应的第一依赖图，生成待编译神经网络模型对应的目标指令序列，用于自动驾驶AI芯片，进行相应功能的模型推理，比如目标检测、语义分割等等，获得推理结果用于自动驾驶的决策与规划。由于建立了目标计算子图之间的依赖关系，用于控制目标计算子图的计算顺序，从而可以避免指令调度陷入假并行度过高导致的贪心陷阱，有效提高指令调度效率。

本公开实施例提供的神经网络模型的编译方法，不限于应用于自动驾驶场景，还可以应用于其他任意需要进行输入张量切分的场景，比如基于图像识别的门禁系统场景、医学图像处理场景等需要进行图像处理的场景，具体可以根据实际需求设置。

示例性方法

图2是本公开一示例性实施例提供的神经网络模型的编译方法的流程示意图。本实施例可应用在电子设备上，具体比如服务器或终端上，如图2所示，包括如下步骤：

步骤201，获取待编译神经网络模型。

其中，待编译神经网络模型(本公开实施例可以简称模型)可以为预先训练获得的任意的神经网络模型，比如目标检测模型、语义分割模型，等等，本公开不作限定。

步骤202，基于待编译神经网络模型，确定待编译神经网络模型对应的初始计算图，初始计算图包括至少一个第一计算子图，每个第一计算子图包括至少一个算子节点及各算子节点之间的连接关系。

其中，算子节点可以包括数据加载节点、数据计算节点和数据存储节点，其中，数据加载节点用于加载张量、权重等用于数据计算节点的数据，数据计算节点可以包括模型中各种计算的算子，比如用于矩阵相乘、卷积、对应元素相加、POOLING(池化)、对应元素相乘等计算的算子，数据存储节点为用于将数据计算节点的计算结果进行存储的节点。第一计算子图是描述由数据加载节点、数据计算节点和数据存储节点构成的一组算子节点的计算顺序的图形表示，初始计算图则包括待编译神经网络模型中所有第一计算子图的整体图形表示。比如对于待编译神经网络模型中的任一计算算子(比如卷积)，均可以对应有一个第一计算子图，包括该计算算子对应的数据加载节点、该计算算子对应的数据计算节点和该计算算子对应的数据存储节点。

示例性的，图3是本公开一示例性实施例提供的第一计算子图的示意图。其中，Load Tensor A表示加载张量A，属于数据加载节点；Load Tensor B表示加载张量B，属于数据加载节点；Add表示两张量按元素相加，属于数据计算节点；Relu表示激活函数，将按元素相加的结果进行激活，获得张量C(Tensor C),也属于数据计算节点；Store Tensor C表示存储将张量C，属于数据存储节点。

步骤203，确定各第一计算子图中包括预设算子节点的第二计算子图，根据第二计算子图的输入张量将第二计算子图切分为第一数量的目标计算子图。

其中，预设算子节点是根据计算特性能够将张量进行切分的算子节点，可以根据实际需求设置，比如预设算子节点可以包括按元素相加算子节点、矩阵相乘算子节点、卷积算子节点、POOLING(池化)算子节点、对应元素相乘算子节点，等等。将包括预设算子节点的第一计算子图作为第二计算子图。第一数量可以根据实际需求设置，比如对于按元素相加算子节点及按元素相乘算子节点，第一数量可以根据AI芯片中能够用于该计算的计算单元情况确定，比如第一数量可以设置为2、4、8等等。目标计算子图与第一计算子图的整体逻辑一致，只是计算的张量大小不同。

示例性的，图4是本公开一示例性实施例提供的第二计算子图的切分原理示意图。本示例仍以按元素相加算子节点为例，第一数量为4，则将第二计算子图切分为4个目标计算子图。其中，张量A按虚线进行切分，被切分为A1、A2、A3和A4四个子张量，张量B被切分为B1、B2、B3和B4四个子张量，基于按元素相加的计算特性，张量A和张量B的尺寸是相同的，且张量A和张量B需要按照相同的切分方式进行切分，以保证切分后的子张量Ai与Bi分别属于A和B中的相同位置，i＝1,2,3,4，从而使得切分后的子张量Ai与Bi尺寸相同。张量A和张量B计算获得的张量C被切分为C1、C2、C3和C4四个子张量，张量C的切分也需要根据按元素相加的计算特性，按照张量A和张量B的切分方式进行切分。每个目标计算子图负责完成对应位置的两个子张量(比如A1和B1)的按元素相加计算，并经激活后获得对应位置的结果张量(C1)。

在一个可选示例中，不同的算子节点，根据其计算特性的不同，张量A、张量B、张量C的切分需要满足的条件可能不同，比如矩阵相乘算子节点，与上述按元素相加算子节点计算特性不同，矩阵相乘需要实现张量A中的每行元素分别与张量B中的各列的元素乘积之和，则张量A需要按行切分，张量B按列切分，且张量A切分的子张量的行数与张量B的子张量的列数相同，张量C需要根据张量A、张量B切分后的子张量运算结果在张量C中的对应位置进行切分，具体可以根据实际需求设置。

步骤204，根据预设依赖规则，建立第一数量的目标计算子图之间的依赖关系，获得第二计算子图对应的第一依赖图，依赖关系用于表征各目标计算子图之间的计算顺序。

其中，预设依赖规则可以根据实际需求设置，只要能够建立各目标计算子图之间的依赖关系即可，具体不作限定。各目标计算子图之间的依赖关系表征各目标计算子图之间的计算顺序，从而避免指令调度陷入假并行度过高导致的贪心陷阱。比如传统指令调度的目标是在限定的资源条件下寻求更高的并行度，若不建立各目标计算子图之间的计算顺序，在指令调度时，加载张量A1、A2、A3、A4、B1、B2、B3、B4都是没有数据依赖的，都可以提前执行，过早地执行这些操作，会占用高速存储资源，调度器甄别这些无效的尝试也会消耗大量的时间，大大降低调度速度，且由于存储资源被提前占用，也容易导致后续处理存储资源不足的情况发生。本公开通过建立目标计算子图之间的依赖关系，可以避免无效的操作提前执行，从而提高调度效率。

示例性的，可以随机确定各目标计算子图之间的计算顺序，还可以根据其他规则确定各目标计算子图之间的计算顺序，比如限定在同一时间只允许部分目标计算子图的并行处理，比如允许2个目标计算子图并行处理，当一个目标计算子图完成后，才允许一个新的目标计算子图开始加载数据，以此避免多个目标计算子图并行加载数据占用资源，具体规则不作限定。

步骤205，基于各第二计算子图分别对应的第一依赖图，生成待编译神经网络模型对应的目标指令序列。

其中，目标指令序列是待编译神经网络模型对应的编译后的二进制代码序列，将目标指令序列部署到AI芯片即可用于实现待编译神经网络模型的相应推理功能，比如用于目标检测、语义分割等。AI芯片根据目标指令序列进行相应的指令调度及执行，实现相应的功能。

本实施例提供的神经网络模型的编译方法，通过对待编译神经网络模型对应的初始计算图中包括预设算子节点的第二计算子图进行切分后，建立切分获得的目标计算子图之间的依赖关系，用于控制目标计算子图的计算顺序，从而可以避免指令调度陷入假并行度过高导致的贪心陷阱，有效提高指令调度效率。

图5是本公开另一示例性实施例提供的神经网络模型的编译方法的流程示意图。

在一个可选实施例中，步骤204具体可以包括以下步骤：

步骤2041，基于预设规则，确定各目标计算子图分别对应的计算优先等级。

其中，预设规则可以根据实际需求设置，比如随机确定各目标计算子图分别对应的计算优先等级，也可以按照切分张量的子张量顺序确定，比如前述A1、B1对应的目标计算子图计算优先等级最高，A2、B2对应的目标计算子图次之，以此类推。具体不作限定。

步骤2042，根据各目标计算子图的计算优先等级，建立任意相邻的两个目标计算子图中对应相同的算子节点之间的第一依赖边，第一依赖边从该两个目标计算子图中计算优先等级较高的第一目标计算子图中的算子节点指向计算优先等级较低的第二目标计算子图中的算子节点。

其中，第一依赖边表征了相邻两个目标计算子图中对应相同的算子节点之间的计算顺序依赖关系，第一依赖边的起始节点对应的指令执行完后才可以执行第一依赖边指向的算子节点的指令。

步骤2043，针对任一目标计算子图，根据目标计算子图中各算子节点之间的预设计算逻辑，建立目标计算子图中各算子节点之间的第二依赖边。

其中，对于任一目标计算子图，参见图4，各算子节点之间具有一定的计算逻辑，第二依赖边用于表征同一目标计算子图中各算子节点之间的计算顺序依赖关系，原理与第一依赖边类似。

步骤2044，基于各目标计算子图、任意相邻的两个目标计算子图中对应相同的算子节点之间的第一依赖边、及各目标计算子图中各算子节点之间的第二依赖边，确定第一依赖图。

其中，第一依赖图包括其对应的第二计算子图所切分的各目标计算子图中相邻目标计算子图之间、各目标计算子图内部的依赖关系。

示例性的，图6是本公开一示例性实施例提供的第一依赖图的示意图。本示例仍以前述的按元素相加算子节点为例，其中，虚线箭头表示相邻两个目标计算子图之间的第一依赖边，实线箭头表示目标计算子图内部的第二依赖边。

本实施例通过建立各目标计算子图之间的第一依赖边及目标计算子图内部的第二依赖边，用于表征各算子节点之间的计算顺序依赖关系，可以有效避免假并行度高的调度情况发生，从而在指令调度时，可以大大提高指令调度效率。

图7是本公开再一示例性实施例提供的神经网络模型的编译方法的流程示意图。

在一个可选实施例中，步骤2044的基于各目标计算子图、任意相邻的两个目标计算子图中对应相同的算子节点之间的第一依赖边、及各目标计算子图中各算子节点之间的第二依赖边，确定第一依赖图，包括：

步骤20441，根据预设权重规则，确定各目标计算子图之间的各第一依赖边分别对应的第一权重、以及各目标计算子图的内部各第二依赖边分别对应的第二权重。

其中，预设权重规则可以根据实际需求设置，比如第一依赖边设置较大的权重，比如第一权重设置为100，第二依赖边设置较小的权重，比如第二权重设置为1，具体可以根据实际需求设置。

步骤20442，基于各第一依赖边分别对应的第一权重、及各第二依赖边分别对应的第二权重，确定各算子节点的节点权重，节点权重用于表征其对应的算子节点的计算优先等级。

其中，对于任一第二计算子图，可以根据所有第一依赖边和第二依赖边的指向，将最终指向的结束算子节点的节点权重设置为参考值(比如0)，根据指向该结束算子节点的第一依赖边或第二依赖边，确定该第一依赖边或第二依赖边连接的起始算子节点的节点权重，以此类推，直至获得所有算子节点的节点权重。

步骤20443，基于各目标计算子图、各第一依赖边、各第一依赖边分别对应的第一权重、各第二依赖边、各第二依赖边分别对应的第二权重、及各节点权重，确定第一依赖图。

示例性的，图8是本公开另一示例性实施例提供的第一依赖图的示意图。其中，从右下角算子节点Store Tensor C4开始，将其节点权重(灰色数字)设置为参考值0，第一依赖边对应的第一权重设置为100，第二依赖边对应的第二权重设置为1，其他算子节点的节点权重根据依赖其的第一依赖边的第一权重、及该第一依赖边指向的算子节点的节点权重叠加获得，或者基于依赖其的第二依赖边的第二权重及该第二依赖边指向的算子节点的节点权重叠加获得。比如，算子节点Store Tensor C3的节点权重是Store Tensor C4的节点权重与两者之间的第一依赖边的第一权重之和，因此，Store Tensor C3的节点权重为100；再比如目标计算子图3中算子节点Add的节点权重是依赖其的算子节点Relu的节点权重(101)与两者之间的第二依赖边的第二权重(1)之和(102)，Add的节点权重也是依赖其的目标计算子图4中的算子节点Add的节点权重(2)与两者之间的第一依赖边的第一权重(100)之和(102)。以此类推，得到各算子节点的节点权重如图所示。在实际应用中，也可以采用其他的第一权重和第二权重，或者基于其他节点权重规则确定节点权重，只要能够根据需求表示各算子节点之间的计算顺序即可，具体可以根据实际需求设置。

在一个可选示例中，各第一依赖边的第一权重也可以设置为不同或部分不同的值，比如目标计算子图1和目标计算子图2之间的各第一依赖边的第一权重可以与目标计算子图2和目标计算子图3之间的各第一依赖边的第一权重不同，具体可以根据实际需求设置。

在一个可选示例中，各第二依赖边的第二权重也可以设置为不同或部分不同的值，比如目标计算子图1的第二依赖边的第二权重可以与目标计算子图2的第二依赖边的第二权重不同，具体可以根据实际需求设置。

在一个可选示例中，在确定除设置参考值的算子节点之外的其他算子节点的节点权重时，对于任一其他算子节点，将依赖该其他算子节点的第一依赖边的第一权重、及该第一依赖边指向的算子节点的节点权重叠加结果作为第一结果，将依赖该其他算子节点的第二依赖边的第二权重及该第二依赖边指向的算子节点的节点权重叠加结果为第二结果，若第一结果和第二结果不同，则将第一结果和第二结果中的最大值作为该其他算子节点的节点权重。比如将图8中目标计算子图4的第二依赖边的第二权重设置为1，将目标计算子图3的第二依赖边的第二权重设置为2，则对于目标计算子图3中算子节点Add的节点权重，由于依赖其的算子节点Relu的节点权重(102)与两者之间的第二依赖边的第二权重(2)之和为104，而依赖该算子节点Add的目标计算子图4中的算子节点Add的节点权重(2)与两者之间的第一依赖边的第一权重(100)之和为102，小于104，则确定目标计算子图3中算子节点Add的节点权重为104。

本实施例针对图6的依赖图可能存在的不公平问题(比如若Tensor A比较小，Tensor B比较大，Add计算速度较低，在执行第一个目标计算子图的Add时，调度器将面临是否需要在空闲时调度加载Tensor A2、A3、A4，甚至是加载TensorB2、B3、B4的问题，很明显这些Tensor要很久以后才会被使用，比如A4和B4只有在计算第四个Add的时候才会使用，因此还存在资源被提前占用的可能性)，通过第一依赖边对应的第一权重、第二依赖边对应的第二权重确定出算子节点对应的节点权重，可以有效控制相邻目标计算子图的并行执行情况，参见图8，通过将目标计算子图之间的第一依赖边的第一权重设置为较大的值，使得相邻目标计算子图的算子节点的节点权重处于不同等级(比如200等级和300等级)，从而可以通过控制可并行执行的等级数量或者控制节点权重阈值限定可并行执行的目标计算子图数量，以避免上述可能出现的不公平问题，进一步提高调度效率。

在一个可选实施例中，步骤205的基于各第二计算子图分别对应的第一依赖图，生成待编译神经网络模型对应的目标指令序列，包括：

步骤2051，针对每个第二计算子图，基于该第二计算子图对应的第一依赖图，确定该第二计算子图对应的调度滑动窗口，调度滑动窗口用于容纳第二数量的目标计算子图。

其中，第二数量可以根据实际需求设置，比如可以设置为2、3，等等。调度滑动窗口用于控制同一时刻可以并行调度的目标计算子图数量，比如当有4个目标计算子图时，第二数量设置为2，同一时刻只能并行处理两个目标计算子图，当调度滑动窗口中的第1个目标计算子图对应的指令调度完成后，滑动窗口将完成的目标计算子图滑出窗口，同时将后续的一个未处理的目标计算子图被滑进窗口，基于此，可以在保证一定并行度的情况下，避免假并行度过高的情况发生，进一步提高指令调度效率。

示例性的，图9是本公开一示例性实施例提供的调度滑动窗口的示意图。某一时刻调度滑动窗口(实线矩形框)中包括目标计算子图1和目标计算子图2，当目标计算子图1完成后，滑动窗口至虚线矩形框位置，此时调度滑动窗口中包括目标计算子图2和目标计算子图3，窗口的滑动可以通过节点权重阈值控制，比如初始节点权重阈值设置为100至200之间的值，比如150，窗口滑动通过每次节点权重阈值减少100实现，具体可以根据实际需求设置。

步骤2052，基于该第二计算子图对应的第一依赖图和调度滑动窗口，生成该第二计算子图对应的第一指令序列。

其中，第一指令序列是该第二计算子图对应的硬件(比如AI芯片)可执行的二进制指令序列。具体生成可以通过相应的编译器编译实现，在此不再赘述。

步骤2053，基于各第二计算子图分别对应的第一指令序列，确定目标指令序列。

其中，由于待编译神经网络模型对应的初始计算图通常包括多个第一计算子图，除了前述的各第二计算子图，还有其他不包括预设算子节点的第一计算子图，各第二计算子图分别对应的第一指令序列按照各第二计算子图在整体计算图中的逻辑位置，与其他第一计算子图的指令序列一起，确定出目标指令序列。

本实施例通过调度滑动窗口控制同一时刻可以并行调度的目标计算子图数量，可以在保证一定并行度的情况下，避免假并行度过高的情况发生，进一步提高指令调度效率。

图10是本公开又一示例性实施例提供的神经网络模型的编译方法的流程示意图。

在一个可选实施例中，在步骤202的基于待编译神经网络模型，确定待编译神经网络模型对应的初始计算图之后，还包括：

步骤301，针对各第一计算子图中除各第二计算子图之外的第三计算子图，基于各第三计算子图生成各第三计算子图分别对应的第二指令序列。

其中，由于第二计算子图是包括预设算子节点的第一计算子图，除此之外还可能有不包括预设算子节点的第一计算子图，对于这部分第一计算子图，将其作为第三计算子图，根据第三计算子图生成对应的第二指令序列，具体可以基于第三计算子图中各算子节点之间的计算逻辑生成，在此不再赘述。

步骤2053的基于各第二计算子图分别对应的第一指令序列，确定目标指令序列，包括：

步骤20531，基于各第二计算子图分别对应的第一指令序列、及各第三计算子图分别对应的第二指令序列，确定目标指令序列。

具体来说，可以根据各第二计算子图与各第三计算子图之间的计算逻辑，对各第一指令序列和各第二指令序列进行指令调度，确定出目标指令序列。

本实施例通过各第一指令序列和各第二指令序列确定目标指令序列，使得目标指令序列在硬件平台调度执行时，能够在保证一定并行度的条件下，有效避免假并行度过高的情况，大大提高指令调度效率。

在一个可选示例中，神经网络模型的编译流程可以包括计算图构建、计算图优化和指令生成三个部分，计算图构建是基于输入的模型文件构建通用的第一中间表示，第一中间表示为图形式，对应本公开实施例上述的初始计算图；计算图优化是对第一中间表示进行图优化，以获得具有图形式的第二中间表示，对应本公开实施例中基于初始计算图生成依赖图的流程；指令生成是对第二中间表示进行调度优化，获得细粒度的第三中间表示，将第三表示编译为硬件平台上执行的指令码，可以对应本公开实施例中基于各第二计算子图分别对应的第一依赖图，生成目标指令序列的流程。具体编译器的编译架构不作限定。

在一个可选实施例中，步骤202的基于待编译神经网络模型，确定待编译神经网络模型对应的初始计算图，包括：

步骤2021，对待编译神经网络模型进行解析，获得解析结果。

其中，对待编译神经网络模型进行解析可以基于预配置的解析规则实现，也可以采用任意可实施的解析器实现，具体不作限定。比如，根据解析规则解析待编译神经网络模型的模型文件的语法及语义，将语法及语义作为解析结果。模型文件可以包括大量的计算机编程语言，可以应用于目标识别、图像识别、图像分类、语义分割、语音识别等。其中，计算机编码语言可以为专用编码语言以及通用编码语言，比如在本公开中，计算机编程语言可以为神经网络专用编程语言，具体可以根据实际需求设置。神经网络专用编程语言可以表征为基于对计算图的描述来表征神经网络的程序代码，且程序代码可以包括描述计算图的程序语句。

步骤2022，根据解析结果，构建待编译神经网络模型对应的初始计算图。

其中，由于待编译神经网络模型的程序代码包括描述计算图的程序语句，因此可以根据解析待编译神经网络模型的程序语句获得的语法及语义，直接构建出初始计算图对应的计算图结构，根据计算图结构得到初始计算图。初始计算图可以为包含复杂模板(template)的嵌套结构图，与待编译神经网络模型的程序代码中的语义相符。还可以对基于计算图结构得到的计算图进行扩展处理，得到由程序中基本单元互相连接而成的计算图作为初始计算图。初始计算图可以包括程序完整的运行过程，并可以被翻译成可执行的指令序列，本公开在初始计算图的基础上按照本公开的方法进行优化处理，得到目标运算平台上性能最大化的计算图结构(即包括各第一依赖图的整体计算图)，在保证一定并行度的基础上，避免假并行度过高的情况发生。

在一个可选实施例中，步骤203的确定各第一计算子图中包括预设算子节点的第二计算子图，根据第二计算子图的输入张量将第二计算子图切分为第一数量的目标计算子图，包括：

步骤2031，基于预设匹配规则，确定第二计算子图。

其中，预设匹配规则可以根据预设算子节点的具体情况确定，比如设置预设算子节点标识集，对于各第一计算子图，获取第一计算子图的算子标识，与预设算子节点标识集匹配，判断第一计算子图是否包括预设算子节点，具体不作限定。

步骤2032，根据预设算子节点，确定第二计算子图对应的操作类型。

其中，操作类型可以包括前述的按元素相加、按元素相乘、矩阵相乘等操作类型。

步骤2033，根据第二计算子图对应的操作类型，确定目标切分规则。

其中，可以针对不同操作类型，基于硬件处理单元的具体情况设置该操作类型对应的切分规则，比如对于按元素相加和按元素相乘操作，只要两张量切分方式一致，可以根据任意的硬件处理单元的需求进行切分；再比如，对于矩阵相乘操作，两张量的切分方式不同，一个按行切分，一个按列切分，保证切分后的各目标计算子图运算后获得的结果能够形成与未切分时相同的结果。

步骤2034，基于目标切分规则及第二计算子图的第一输入张量和第二输入张量，将第二计算子图切分为第一数量的目标计算子图。

其中，不同的操作类型，目标切分规则可以相同或不同，切分后张量变小，使得目标计算子图的数据加载时间减少，及时进入后续的数据计算阶段，实现在一定并行度的基础上，保证资源的利用率。

示例性的，以矩阵相乘为例，图11是本公开一示例性实施例提供的矩阵相乘操作类型对应的切分原理示意图。Matmul表示矩阵相乘，张量A为2×4的张量，张量B为4×2的张量，将张量A切分为2个1×4的张量(A1和A2)，张量B切分为2个4×1的张量(B1和B2)，得到4个目标计算子图(包括A1与B1、A1与B2、A2与B1、A2与B2四组分别对应的目标计算子图)，4个目标计算子图获得的结果合并正好与A和B矩阵相乘结果C相同，其中，A1与B1矩阵相乘得到C1，A1与B2矩阵相乘得到C2，A2与B1矩阵相乘得到C3，A2与B2矩阵相乘得到C4。

本公开上述各实施例或可选示例可以单独实施也可以在不冲突的情况下以任意组合方式结合实施，具体可以根据实际需求设置，本公开不做限定。

本公开实施例提供的任一种神经网络模型的编译方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任一种神经网络模型的编译方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种神经网络模型的编译方法。下文不再赘述。

示例性装置

图12是本公开一示例性实施例提供的神经网络模型的编译装置的结构示意图。该实施例的装置可用于实现本公开相应的方法实施例，如图12所示的装置包括：第一获取模块501、第一处理模块502、第二处理模块503、第三处理模块504和第四处理模块505。

第一获取模块501，用于获取待编译神经网络模型。

第一处理模块502，用于基于待编译神经网络模型，确定待编译神经网络模型对应的初始计算图，初始计算图包括至少一个第一计算子图，每个第一计算子图包括至少一个算子节点及各算子节点之间的连接关系。

第二处理模块503，用于确定各第一计算子图中包括预设算子节点的第二计算子图，根据第二计算子图的输入张量将第二计算子图切分为第一数量的目标计算子图。

第三处理模块504，用于根据预设依赖规则，建立第一数量的目标计算子图之间的依赖关系，获得第二计算子图对应的第一依赖图，依赖关系用于表征各目标计算子图之间的计算顺序。

第四处理模块505，用于基于各第二计算子图分别对应的第一依赖图，生成待编译神经网络模型对应的目标指令序列。

图13是本公开一示例性实施例提供的神经网络模型的编译装置的结构示意图。

在一个可选实施例中，第三处理模块504包括：第一确定单元5041、第一处理单元5042、第二处理单元5043和第三处理单元5044。

第一确定单元5041，用于基于预设规则，确定各目标计算子图分别对应的计算优先等级。

第一处理单元5042，用于根据各目标计算子图的计算优先等级，建立任意相邻的两个目标计算子图中对应相同的算子节点之间的第一依赖边，第一依赖边从该两个目标计算子图中计算优先等级较高的第一目标计算子图中的算子节点指向计算优先等级较低的第二目标计算子图中的算子节点。

第二处理单元5043，用于针对任一目标计算子图，根据目标计算子图中各算子节点之间的预设计算逻辑，建立目标计算子图中各算子节点之间的第二依赖边。

第三处理单元5044，用于基于各目标计算子图、任意相邻的两个目标计算子图中对应相同的算子节点之间的第一依赖边、及各目标计算子图中各算子节点之间的第二依赖边，确定第一依赖图。

在一个可选实施例中，第三处理单元5044具体用于：

根据预设权重规则，确定各目标计算子图之间的各第一依赖边分别对应的第一权重、以及各目标计算子图的内部各第二依赖边分别对应的第二权重；基于各第一依赖边分别对应的第一权重、及各第二依赖边分别对应的第二权重，确定各算子节点的节点权重，节点权重用于表征其对应的算子节点的计算优先等级；基于各目标计算子图、各第一依赖边、各第一依赖边分别对应的第一权重、各第二依赖边、各第二依赖边分别对应的第二权重、及各节点权重，确定第一依赖图。

在一个可选实施例中，第四处理模块505包括：第二确定单元5051、第四处理单元5052和第三确定单元5053。

第二确定单元5051，用于针对每个第二计算子图，基于该第二计算子图对应的第一依赖图，确定第二计算子图对应的调度滑动窗口，调度滑动窗口用于容纳第二数量的目标计算子图。

第四处理单元5052，用于基于该第二计算子图对应的第一依赖图和调度滑动窗口，生成该第二计算子图对应的第一指令序列。

第三确定单元5053，用于基于各第二计算子图分别对应的第一指令序列，确定目标指令序列。

在一个可选实施例中，本公开的装置还包括：第五处理模块506，用于针对各第一计算子图中除各第二计算子图之外的第三计算子图，基于各第三计算子图生成各第三计算子图分别对应的第二指令序列。

第三确定单元5053具体用于：基于各第二计算子图分别对应的第一指令序列、及各第三计算子图分别对应的第二指令序列，确定目标指令序列。

在一个可选实施例中，第一处理模块502包括：解析单元5021和构建单元5022。

解析单元5021，用于对待编译神经网络模型进行解析，获得解析结果。

构建单元5022，用于根据解析结果，构建待编译神经网络模型对应的初始计算图。

在一个可选实施例中，第二处理模块503包括：第四确定单元5031、第五确定单元5032、第六确定单元5033和第五处理单元5034。

第四确定单元5031，用于基于预设匹配规则，确定第二计算子图。

第五确定单元5032，根据预设算子节点，确定第二计算子图对应的操作类型。

第六确定单元5033，用于根据第二计算子图对应的操作类型，确定目标切分规则。

第五处理单元5034，用于基于目标切分规则及第二计算子图的第一输入张量和第二输入张量，将第二计算子图切分为第一数量的目标计算子图。

本公开上述实施例中的模块及单元还可以根据实际需求进行更细粒度的划分，具体可以根据实际需求设置。

示例性电子设备

本公开实施例还提供了一种电子设备，包括：存储器，用于存储计算机程序；

处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现本公开上述任一实施例所述的神经网络模型的编译方法。

图14是本公开电子设备一个应用实施例的结构示意图。本实施例中，该电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本公开的各个实施例的方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如，该输入装置13可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。

此外，该输入装置13还可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图14中仅示出了该电子设备10中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种神经网络模型的编译方法，包括：

获取待编译神经网络模型；

基于所述待编译神经网络模型，确定所述待编译神经网络模型对应的初始计算图，所述初始计算图包括至少一个第一计算子图，每个所述第一计算子图包括至少一个算子节点及各所述算子节点之间的连接关系；

确定各所述第一计算子图中包括预设算子节点的第二计算子图，根据所述第二计算子图的输入张量将所述第二计算子图切分为第一数量的目标计算子图；

根据预设依赖规则，建立所述第一数量的所述目标计算子图之间的依赖关系，获得所述第二计算子图对应的第一依赖图，所述依赖关系用于表征各所述目标计算子图之间的计算顺序；

基于各所述第二计算子图分别对应的所述第一依赖图，生成所述待编译神经网络模型对应的目标指令序列。

2.根据权利要求1所述的方法，其中，所述根据预设依赖规则，建立所述第一数量的所述目标计算子图之间的依赖关系，获得所述第二计算子图对应的第一依赖图，包括：

基于预设规则，确定各所述目标计算子图分别对应的计算优先等级；

根据各所述目标计算子图的所述计算优先等级，建立任意相邻的两个所述目标计算子图中对应相同的算子节点之间的第一依赖边，所述第一依赖边从该两个所述目标计算子图中计算优先等级较高的第一目标计算子图中的算子节点指向计算优先等级较低的第二目标计算子图中的算子节点；

针对任一所述目标计算子图，根据所述目标计算子图中各算子节点之间的预设计算逻辑，建立所述目标计算子图中各算子节点之间的第二依赖边；

基于各所述目标计算子图、任意相邻的两个所述目标计算子图中对应相同的算子节点之间的所述第一依赖边、及各所述目标计算子图中各算子节点之间的所述第二依赖边，确定所述第一依赖图。

3.根据权利要求2所述的方法，其中，所述基于各所述目标计算子图、任意相邻的两个所述目标计算子图中对应相同的算子节点之间的所述第一依赖边、及各所述目标计算子图中各算子节点之间的所述第二依赖边，确定所述第一依赖图，包括：

根据预设权重规则，确定各所述目标计算子图之间的各所述第一依赖边分别对应的第一权重、以及各所述目标计算子图的内部各所述第二依赖边分别对应的第二权重；

基于各所述第一依赖边分别对应的所述第一权重、及各所述第二依赖边分别对应的所述第二权重，确定各所述算子节点的节点权重，所述节点权重用于表征其对应的算子节点的计算优先等级；

基于各所述目标计算子图、各所述第一依赖边、各所述第一依赖边分别对应的所述第一权重、各所述第二依赖边、各所述第二依赖边分别对应的所述第二权重、及各所述节点权重，确定所述第一依赖图。

4.根据权利要求3所述的方法，其中，所述基于各所述第二计算子图分别对应的所述第一依赖图，生成所述待编译神经网络模型对应的目标指令序列，包括：

针对每个所述第二计算子图，基于该第二计算子图对应的所述第一依赖图，确定所述第二计算子图对应的调度滑动窗口，所述调度滑动窗口用于容纳第二数量的所述目标计算子图；

基于该第二计算子图对应的所述第一依赖图和所述调度滑动窗口，生成该第二计算子图对应的第一指令序列；

基于各所述第二计算子图分别对应的第一指令序列，确定所述目标指令序列。

5.根据权利要求4所述的方法，其中，在所述基于所述待编译神经网络模型，确定所述待编译神经网络模型对应的初始计算图之后，还包括：

针对各所述第一计算子图中除各所述第二计算子图之外的第三计算子图，基于各所述第三计算子图生成各所述第三计算子图分别对应的第二指令序列；

所述基于各所述第二计算子图分别对应的第一指令序列，确定所述目标指令序列，包括：

基于各所述第二计算子图分别对应的所述第一指令序列、及各所述第三计算子图分别对应的所述第二指令序列，确定所述目标指令序列。

6.根据权利要求1所述的方法，其中，所述基于所述待编译神经网络模型，确定所述待编译神经网络模型对应的初始计算图，包括：

对所述待编译神经网络模型进行解析，获得解析结果；

根据所述解析结果，构建所述待编译神经网络模型对应的所述初始计算图。

7.根据权利要求1-6任一所述的方法，其中，所述确定各所述第一计算子图中包括预设算子节点的第二计算子图，根据所述第二计算子图的输入张量将所述第二计算子图切分为第一数量的目标计算子图，包括：

基于预设匹配规则，确定所述第二计算子图；

根据所述预设算子节点，确定所述第二计算子图对应的操作类型；

根据所述第二计算子图对应的所述操作类型，确定目标切分规则；

基于所述目标切分规则及所述第二计算子图的第一输入张量和第二输入张量，将所述第二计算子图切分为所述第一数量的所述目标计算子图。

8.一种神经网络模型的编译装置，包括：

第一获取模块，用于获取待编译神经网络模型；

第一处理模块，用于基于所述待编译神经网络模型，确定所述待编译神经网络模型对应的初始计算图，所述初始计算图包括至少一个第一计算子图，每个所述第一计算子图包括至少一个算子节点及各所述算子节点之间的连接关系；

第二处理模块，用于确定各所述第一计算子图中包括预设算子节点的第二计算子图，根据所述第二计算子图的输入张量将所述第二计算子图切分为第一数量的目标计算子图；

第三处理模块，用于根据预设依赖规则，建立所述第一数量的所述目标计算子图之间的依赖关系，获得所述第二计算子图对应的第一依赖图，所述依赖关系用于表征各所述目标计算子图之间的计算顺序；

第四处理模块，用于基于各所述第二计算子图分别对应的所述第一依赖图，生成所述待编译神经网络模型对应的目标指令序列。

9.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-7任一所述的神经网络模型的编译方法。

10.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-7任一所述的神经网络模型的编译方法。

Images