CN113342345A - 深度学习框架的算子融合方法、装置 - Google Patents

Abstract

本公开提供了一种深度学习框架的算子融合方法、装置，涉及人工智能技术领域，具体为深度学习技术领域。深度学习框架的算子融合方法包括：确定在深度学习框架中运行的至少一个神经网络模型，获取对应所述至少一个神经网络模型的算子集合；根据算子的执行顺序与融合标签，确定所述算子集合中与预设融合模式对应的至少一个算子子集合；分别将所述至少一个算子子集合中的各算子进行融合，得到至少一个融合算子。本公开能够降低算子融合的成本，并提升算子融合的准确性，且极大地减少了代码编译结果中的代码数量，提升了深度学习框架的运行效率。

Description

深度学习框架的算子融合方法、装置

技术领域

本公开涉及人工智能技术领域，尤其涉及深度学习技术领域。提供了一种深度学习框架的算子融合方法、装置、电子设备与可读存储介质。

背景技术

随着深度学习在各个行业领域中的应用越来越广泛，对于深度学习框架在进行推理时的速度要求也越来越高。现有技术在优化深度学习框架的性能时，通常采用的方法就是算子融合。但是，现有技术通常是基于算子的算子类型来进行算子融合，由于算子类型的数量较大，因此导致算子融合时的步骤较为复杂，算子融合的效率较低。

发明内容

根据本公开的第一方面，提供了一种深度学习框架的算子融合方法，包括：确定在深度学习框架中运行的至少一个神经网络模型，获取对应所述至少一个神经网络模型的算子集合；根据算子的执行顺序与融合标签，确定所述算子集合中与预设融合模式对应的至少一个算子子集合；分别将所述至少一个算子子集合中的各算子进行融合，得到至少一个融合算子。

根据本公开的第二方面，提供了一种深度学习框架的算子融合装置，包括：获取单元，用于确定在深度学习框架中运行的至少一个神经网络模型，获取对应所述至少一个神经网络模型的算子集合；确定单元，用于根据算子的执行顺序与融合标签，确定所述算子集合中与预设融合模式对应的至少一个算子子集合；融合单元，用于分别将所述至少一个算子子集合中的各算子进行融合，得到至少一个融合算子。

根据本公开的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。

根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如上所述的方法。

根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方法。

由以上技术方案可以看出，本公开对深度学习框架中的特定算子进行了融合，极大地减少了代码编译结果中的代码数量，因此提升了深度学习框架的运行效率，且通过结合算子的执行顺序与融合标签的方式来融合算子，能够在提升算子融合的准确性的同时，降低算子融合的成本。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开第一实施例的示意图；

图2是根据本公开第二实施例的示意图；

图3是用来实现本公开实施例的深度学习框架的算子融合方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和机构的描述。

图1是根据本公开第一实施例的示意图。如图1所示，本实施例的深度学习框架的算子融合方法，具体可以包括如下步骤：

S101、确定在深度学习框架中运行的至少一个神经网络模型，获取对应所述至少一个神经网络模型的算子集合；

S102、根据算子的执行顺序与融合标签，确定所述算子集合中与预设融合模式对应的至少一个算子子集合；

S103、分别将所述至少一个算子子集合中的各算子进行融合，得到至少一个融合算子。

本实施例的深度学习框架的算子融合方法，在确定与在深度学习框架中运行的至少一个神经网络模型对应的算子(operator)集合之后，首先根据算子的执行顺序与算子的融合标签，确定算子集合中与预设的融合模式对应的至少一个算子子集合，然后融合算子子集合中的算子得到融合算子，由于本实施例对深度学习框架中的特定算子进行了融合，极大地减少了代码编译结果中的代码数量，因此提升了深度学习框架的运行效率，且通过结合算子的执行顺序与融合标签的方式来融合算子，能够在提升算子融合的准确性的同时，降低算子融合的成本。

本实施例执行S101所确定的在深度学习框架中运行的至少一个神经网络模型，具体为由深度学习框架所构建、且通过训练已确定参数的神经网络模型，所确定的至少一个神经网络模型用于共同完成特定的推理任务，例如图像分类任务、语音识别任务、图像识别任务等。

目前主流的深度学习框架有Tensorflow、PyTorch、PaddlePaddle、Caffe、Theano等。

本实施例在执行S101确定了至少一个神经网络模型之后，再获取与所确定的至少一个神经网络模型对应的算子集合。

由于神经网络模型是由不同算子组成的计算网络，每个算子完成相应的计算，因此在神经网络模型中使用的卷积算子、池化算子、激活函数算子、采样算子、全连接算子等，是运行神经网络模型的深度学习框架的基本计算单元，将输入数据输入深度学习框架之后，由多个算子依次进行计算，从而输出相应的推理结果。

本实施例执行S101获取的算子集合中包含所确定的至少一个神经网络模型所使用的全部算子；另外，本实施例执行S101所获取的算子集合中，除了算子本身之外，还进一步包含不同算子之间的连接关系。

本实施例在执行S101获取了算子集合之后，执行S102根据算子的执行顺序与融合标签，确定算子集合中与预设融合模式对应的至少一个算子子集合，所确定的每个算子子集合中包含多个待融合算子。

本实施例在执行S102确定算子子集合时所使用的算子的融合标签，是预先根据算子的输入张量(tensor)与输出张量的维度是否相同、算子是否为从第三方库所调用的算子等属性信息来定义的，具有相同算子类型的算子可能与不同的融合标签相对应。

本实施例在执行S102根据算子的执行顺序与融合标签，确定所获取的算子集合中与预设的融合模式对应的至少一个算子子集合时，可以采用的可选实现方式为：将算子的属性信息在预设的对应关系表中进行匹配，将匹配结果作为算子的融合标签；根据算子的执行顺序与所确定的融合标签，确定算子集合中与预设的融合模式对应的至少一个算子子集合。

其中，本实施例执行S102所使用的预设的对应关系表中，包含多个属性信息与多个属性信息对应的融合标签。另外，本实施例也可以将算子的融合标签设置为算子的一种属性信息，从而实现在获取算子的同时，无需进行匹配即可确定该算子的融合标签。

本实施例中的融合标签可以包含以下四种类型，每种类型的融合标签对应不同的属性信息：第一融合标签，对应于输出张量与输入张量具有相同维度的算子，例如relu算子、sigmoid算子；第二融合标签，对应于输出张量的维度小于输入张量的维度的算子，例如reducesum算子；第三融合标签，对应于输出张量的维度大于输入张量的维度的算子，例如conv2d算子；第四融合标签，对应于通过调用第三方库实现的算子，若算子的融合标签为第四融合标签，则表示该算子为不能进行融合的算子。

可以理解的是，随着后续算子的不断更新，本实施例也可以根据算子的属性信息来相应地增加其他类型的融合标签，从而使得融合标签能够更加细致地区分不同的算子。

也就是说，本实施例通过额外添加算子的融合标签的方式，能够更加清楚地对算子集合中的可融合算子进行表示，且相比于算子本身的算子类型来说，算子的融合标签的数量会大幅减少，从而根据数量更少的融合标签，简化算子融合的复杂程度，提升在确定算子子集合时的效率。

本实施例执行S102时所使用的融合模式是预设的，本实施例可以预设多个融合模式，每个融合模式中包含可融合算子的执行顺序与融合标签。

举例来说，本实施例中的融合模式1可以为“首个算子为第一融合标签或者第三融合标签，直至后续算子不再是第一融合标签”；本实施例中的融合模式2可以为“连续多个第一融合标签的算子之后为第二融合标签的算子”。

本实施例在执行S102确定算子集合中与预设融合模式对应的至少一个算子子集合时，可以采用的可选实现方式为：将所获取的算子集合中满足预设融合模式的多个算子，作为待融合算子；按序将对应不同的预设融合模式的待融合算子进行组合，得到至少一个算子子集合。

同样地，本实施例执行S102所确定的至少一个算子子集合中除了包含算子本身之外，进一步包含不同算子之间的连接顺序。

举例来说，若本实施例执行S101所获取的算子集合为{算子1，算子2，算子3，算子4、算子5，算子6}；若算子1的融合标签为第三融合标签，算子2的融合标签为第一融合标签，算子3的融合标签为第二融合标签，算子4的融合标签为第一融合标签，算子5的融合标签为第一融合标签，算子6的融合标签为第二融合标签；若预设融合模式包含融合模式1与融合模式2，则本实施例执行S102可以确定两个算子子集合，与融合模式1对应的算子子集合1为{算子1，算子2}，与融合模式2对应的算子子集合2{算子4，算子5}。

本实施例在执行S102确定了至少一个算子子集合之后，执行S103分别将所确定的至少一个算子子集合中的各算子进行融合，得到至少一个融合算子。

具体地，本实施例在执行S103分别将至少一个算子子集合中的各算子进行融合时，可以采用的可选实现方式为：针对每个算子子集合，在确定该算子子集合中预设算子的输出仅为与其连接的下一个算子的输入的情况下，将算子子集合中的各算子进行融合，本实施例中的预设算子为算子子集合中除最后一个算子之外的其他算子。

也就是说，本实施例在将算子子集合中的各算子进行融合之前，还会验证算子之间进行融合的可行性，从而确保所得到的融合算子不会影响其他算子，避免深度学习框架在根据融合算子进行计算时出现错误的问题。

另外，本实施例在执行S103分别将至少一个算子子集合中的各算子进行融合时，可以采用的可选实现方式为：针对每个算子子集合，获取该算子子集合中各算子的算子类型，所获取的算子类型即为算子本身的类型；在确定所获取的算子类型中不包含预设算子类型的情况下，将该算子子集合中的各算子进行融合，其中预设算子类型可以人为设置。

也就是说，本实施例在将算子子集合中的各算子进行融合之前，还可以结合算子子集合中各算子的算子类型，来确定是否能将该算子子集合中的各算子进行融合，从而实现在特殊需求下进行算子的融合。

可以理解的是，本实施例可以在执行上述对算子融合的可行性检测之后，再执行上述确定算子子集合中是否存在预设算子类型的步骤；也可以在执行上述确定算子子集合中是否存在预设算子类型的步骤之后，再执行上述对算子融合的可行性检测。

本实施例在执行S103得到至少一个融合算子之后，还可以根据所得到的融合算子与算子集合中的其他算子来生成代码，进而将融合算子的代码与其他算子的代码进行组合，将组合结果作为深度学习框架的代码编译结果。

对于算子集合中未进行融合的其他算子来说，可以直接根据该算子原本的输入与输出进行编译来得到对应的代码。

对于融合算子来说，本实施例在生成融合算子的代码时，可以采用以下方式：针对每个融合算子，将算子子集合中各算子的输入作为融合算子的输入，将算子子集合中最后一个算子的输出作为融合算子的输出；根据所确定的融合算子的输入与输出进行编译，得到融合算子的代码。

其中，本实施例在根据融合算子的输入与输出进行编译时，还可以将中间算子的输出结果进行内联展开；对于无法进行内联展开的输出结果，则可以将其声明为临时张量变量，并分配相应的内存空间。

因此，本实施例在执行S103得到至少一个融合算子之后，还能够得到对应算子集合中全部算子的代码，进而按序依次将融合算子的代码与其他算子的代码进行组合，所得到的组合结果即为深度学习框架在运行至少一个神经网络模型时的代码编译结果。

本实施例在得到深度学习框架的代码编译结果之后，可以使用该代码编译结果来处理输入数据，从而得到对应输入数据的特定推理结果，例如语音识别结果、图像分类结果或者图像识别结果等。

图2是根据本公开第二实施例的示意图。如图2所示，本实施例的深度学习框架的算子融合装置200，包括：

获取单元201、用于确定在深度学习框架中运行的至少一个神经网络模型，获取对应所述至少一个神经网络模型的算子集合；

确定单元202、用于根据算子的执行顺序与融合标签，确定所述算子集合中与预设融合模式对应的至少一个算子子集合；

融合单元203、用于分别将所述至少一个算子子集合中的各算子进行融合，得到至少一个融合算子。

获取单元201所确定的在深度学习框架中运行的至少一个神经网络模型，具体为由深度学习框架所构建、且通过训练已确定参数的神经网络模型，所确定的至少一个神经网络模型用于共同完成特定的推理任务。

目前主流的深度学习框架有Tensorflow、PyTorch、PaddlePaddle、Caffe、Theano等。

获取单元201在确定了至少一个神经网络模型之后，再获取与所确定的至少一个神经网络模型对应的算子集合。

由于神经网络模型是由不同算子组成的计算网络，每个算子完成相应的计算，因此在神经网络模型中使用的卷积算子、池化算子、激活函数算子、采样算子、全连接算子等，是运行神经网络模型的深度学习框架的基本计算单元，将输入数据输入深度学习框架之后，由多个算子依次进行计算，从而输出相应的推理结果。

获取单元201所获取的算子集合中包含所确定的至少一个神经网络模型所使用的全部算子；另外，获取单元201所获取的算子集合中，除了算子本身之外，还进一步包含不同算子之间的连接关系。

本实施例在由获取单元201获取了算子集合之后，由确定单元202根据算子的执行顺序与融合标签，确定算子集合中与预设融合模式对应的至少一个算子子集合，所确定的每个算子子集合中包含多个待融合算子。

确定单元202在确定算子子集合时所使用的算子的融合标签，是预先根据算子的输入张量(tensor)与输出张量的维度是否相同、算子是否为从第三方库所调用的算子等属性信息来定义的，具有相同算子类型的算子可能与不同的融合标签相对应。

确定单元202在根据算子的执行顺序与融合标签，确定所获取的算子集合中与预设的融合模式对应的至少一个算子子集合时，可以采用的可选实现方式为：将算子的属性信息在预设的对应关系表中进行匹配，将匹配结果作为算子的融合标签；根据算子的执行顺序与所确定的融合标签，确定算子集合中与预设的融合模式对应的至少一个算子子集合。

其中，确定单元202所使用的预设的对应关系表中，包含多个属性信息与多个属性信息对应的融合标签。另外，本实施例也可以将算子的融合标签设置为算子的一种属性信息，从而实现在获取算子的同时，无需进行匹配即可确定该算子的融合标签。

本实施例中的融合标签可以包含以下四种类型，每种类型的融合标签对应不同的属性信息：第一融合标签，对应于输出张量与输入张量具有相同维度的算子，例如relu算子、sigmoid算子；第二融合标签，对应于输出张量的维度小于输入张量的维度的算子，例如reducesum算子；第三融合标签，对应于输出张量的维度大于输入张量的维度的算子，例如conv2d算子；第四融合标签，对应于通过调用第三方库实现的算子，若算子的融合标签为第四融合标签，则表示该算子为不能进行融合的算子。

可以理解的是，随着后续算子的不断更新，本实施例也可以根据算子的属性信息来相应地增加其他类型的融合标签，从而使得融合标签能够更加细致地区分不同的算子。

也就是说，本实施例通过额外添加算子的融合标签的方式，能够更加清楚地对算子集合中的可融合算子进行表示，且相比于算子本身的算子类型来说，算子的融合标签的数量会大幅减少，从而根据数量更少的融合标签，简化算子融合的复杂程度，提升在确定算子子集合时的效率。

确定单元202所使用的融合模式是预设的，本实施例可以预设多个融合模式，每个融合模式中包含可融合算子的执行顺序与融合标签。

确定单元202在确定算子集合中与预设融合模式对应的至少一个算子子集合时，可以采用的可选实现方式为：将所获取的算子集合中满足预设融合模式的多个算子，作为待融合算子；按序将对应不同的预设融合模式的待融合算子进行组合，得到至少一个算子子集合。

同样地，确定单元202所确定的至少一个算子子集合中除了包含算子本身之外，进一步包含不同算子之间的连接顺序。

本实施例在由确定单元202确定了至少一个算子子集合之后，由融合单元203分别将所确定的至少一个算子子集合中的各算子进行融合，得到至少一个融合算子。

具体地，融合单元203在分别将至少一个算子子集合中的各算子进行融合时，可以采用的可选实现方式为：针对每个算子子集合，在确定该算子子集合中预设算子的输出仅为与其连接的下一个算子的输入的情况下，将算子子集合中的各算子进行融合，本实施例中的预设算子为算子子集合中除最后一个算子之外的其他算子。

也就是说，融合单元203在将算子子集合中的各算子进行融合之前，还会验证算子之间进行融合的可行性，确保所得到的融合算子不会影响其他算子，避免深度学习框架在根据融合算子进行计算时出现错误的问题。

另外，融合单元203在分别将至少一个算子子集合中的各算子进行融合时，可以采用的可选实现方式为：针对每个算子子集合，获取该算子子集合中各算子的算子类型；在确定所获取的算子类型中不包含预设算子类型的情况下，将该算子子集合中的各算子进行融合，其中预设算子类型可以人为设置。

也就是说，融合单元203在将算子子集合中的各算子进行融合之前，还可以结合算子子集合中各算子的算子类型，来确定是否能将该算子子集合中的各算子进行融合，从而实现在特殊需求下进行算子的融合。

可以理解的是，融合单元203可以在执行上述对算子融合的可行性检测之后，再执行上述确定算子子集合中是否存在预设算子类型的步骤；融合单元203也可以在执行上述确定算子子集合中是否存在预设算子类型的步骤之后，再执行上述对算子融合的可行性检测。

本实施例的深度学习框架的算子融合装置还可以包含处理单元204，本实施例在由融合单元203所得到的融合算子之后，由处理单元204根据所得到的融合算子与算子集合中的其他算子来生成代码，进而将融合算子的代码与其他算子的代码进行组合，将组合结果作为深度学习框架的代码编译结果。

对于算子集合中未进行融合的其他算子来说，处理单元204可以直接根据该算子原本的输入与输出进行编译来得到对应的代码。

对于融合算子来说，处理单元204可以采用以下内容来得到融合算子的代码：针对每个融合算子，将算子子集合中各算子的输入作为融合算子的输入，将算子子集合中最后一个算子的输出作为融合算子的输出；根据所确定的融合算子的输入与输出进行编译，得到融合算子的代码。

其中，处理单元204在根据融合算子的输入与输出进行编译时，还可以将中间算子的输出结果进行内联展开；对于无法进行内联展开的输出结果，则可以将其声明为临时张量变量，并分配相应的内存空间。

因此，由处理单元204得到对应算子集合中全部算子的代码，进而按序依次将融合算子的代码与其他算子的代码进行组合，所得到的组合结果即为深度学习框架在运行至少一个神经网络模型时的代码编译结果。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

如图3所示，是根据本公开实施例的深度学习框架的算子融合方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图3所示，设备300包括计算单元301，其可以根据存储在只读存储器(ROM)302中的计算机程序或者从存储单元308加载到随机访问存储器(RAM)303中的计算机程序，来执行各种适当的动作和处理。在RAM 303中，还可存储设备300操作所需的各种程序和数据。计算单元301、ROM302以及RAM303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。

设备300中的多个部件连接至I/O接口305，包括：输入单元306，例如键盘、鼠标等；输出单元305，例如各种类型的显示器、扬声器等；存储单元308，例如磁盘、光盘等；以及通信单元309，例如网卡、调制解调器、无线通信收发机等。通信单元309允许设备300通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元301可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元301的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元301执行上文所描述的各个方法和处理，例如深度学习框架的算子融合方法。例如，在一些实施例中，深度学习框架的算子融合方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元308。

在一些实施例中，计算机程序的部分或者全部可以经由ROM302和/或通信单元309而被载入和/或安装到设备300上。当计算机程序加载到RAM303并由计算单元301执行时，可以执行上文描述的深度学习框架的算子融合方法的一个或多个步骤。备选地，在其他实施例中，计算单元301可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行深度学习框架的算子融合方法。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(“Virtual Private Server”，或简称“VPS”)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (15)

1.一种深度学习框架的算子融合方法，包括：

确定在深度学习框架中运行的至少一个神经网络模型，获取对应所述至少一个神经网络模型的算子集合；

根据算子的执行顺序与融合标签，确定所述算子集合中与预设融合模式对应的至少一个算子子集合；

分别将所述至少一个算子子集合中的各算子进行融合，得到至少一个融合算子。

2.根据权利要求1所述的方法，其中，所述根据算子的执行顺序与融合标签，确定所述算子集合中与预设融合模式对应的至少一个算子子集合包括：

将算子的属性信息在预设的对应关系表中进行匹配，将匹配结果作为算子的融合标签；

根据算子的执行顺序与所确定的融合标签，确定所述算子集合中与预设的融合模式对应的至少一个算子子集合。

3.根据权利要求2所述的方法，其中，所述确定所述算子集合中与预设的融合模式对应的至少一个算子子集合包括：

将所述算子集合中满足预设融合模式的多个算子，作为待融合算子；

按序将对应不同的预设融合模式的待融合算子进行组合，得到至少一个算子子集合。

4.根据权利要求1所述的方法，其中，所述分别将所述至少一个算子子集合中的各算子进行融合包括：

针对每个算子子集合，在确定该算子子集合中预设算子的输出仅为与其连接的下一个算子的输入的情况下，融合该算子子集合中的各算子。

5.根据权利要求1所述的方法，其中，所述分别将所述至少一个算子子集合中的各算子进行融合包括：

针对每个算子子集合，获取该算子子集合中各算子的算子类型；

在确定所获取的算子类型中不包含预设算子类型的情况下，融合该算子子集合中的各算子。

6.根据权利要求1所述的方法，还包括，

在得到至少一个融合算子之后，针对每个融合算子，将算子子集合中各算子的输入作为融合算子的输入，将算子子集合中最后一个算子的输出作为融合算子的输出；

根据所确定的融合算子的输入与输出进行编译，得到融合算子的代码。

7.一种深度学习框架的算子融合装置，包括：

获取单元，用于确定在深度学习框架中运行的至少一个神经网络模型，获取对应所述至少一个神经网络模型的算子集合；

确定单元，用于根据算子的执行顺序与融合标签，确定所述算子集合中与预设融合模式对应的至少一个算子子集合；

融合单元，用于分别将所述至少一个算子子集合中的各算子进行融合，得到至少一个融合算子。

8.根据权利要求7所述的装置，其中，所述确定单元在根据算子的执行顺序与融合标签，确定所述算子集合中与预设融合模式对应的至少一个算子子集合时，具体执行：

将算子的属性信息在预设的对应关系表中进行匹配，将匹配结果作为算子的融合标签；

根据算子的执行顺序与所确定的融合标签，确定所述算子集合中与预设的融合模式对应的至少一个算子子集合。

9.根据权利要求8所述的装置，其中，所述确定单元在确定所述算子集合中与预设的融合模式对应的至少一个算子子集合时，具体执行：

将所述算子集合中满足预设融合模式的多个算子，作为待融合算子；

按序将对应不同的预设融合模式的待融合算子进行组合，得到至少一个算子子集合。

10.根据权利要求7所述的装置，其中，所述融合单元在分别将所述至少一个算子子集合中的各算子进行融合时，具体执行：

针对每个算子子集合，在确定该算子子集合中预设算子的输出仅为与其连接的下一个算子的输入的情况下，融合该算子子集合中的各算子。

11.根据权利要求7所述的装置，其中，所述融合单元在分别将所述至少一个算子子集合中的各算子进行融合时，具体执行：

针对每个算子子集合，获取该算子子集合中各算子的算子类型；

在确定所获取的算子类型中不包含预设算子类型的情况下，融合该算子子集合中的各算子。

12.根据权利要求7所述的装置，还包括处理单元，用于执行，

在所述融合单元得到至少一个融合算子之后，针对每个融合算子，将算子子集合中各算子的输入作为融合算子的输入，将算子子集合中最后一个算子的输出作为融合算子的输出；

根据所确定的融合算子的输入与输出进行编译，得到融合算子的代码。

13.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的方法。

15.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。

Images