CN115328541A - 不同框架下模型转换方法和装置、设备及存储介质 - Google Patents

Abstract

本公开涉及一种不同框架下模型转换方法和装置、设备及存储介质，包括：获取当前待转换的算法模型，并遍历算法模型中的操作。对当前遍历的操作，由预先构建的算子转换映射表中匹配对应的原算子。根据匹配的原算子获取目标算子，并根据原算子与目标算子，对算法模型进行转换。其中，算子转换映射表包含算法模型所属的原框架下的各算子与目标框架下的各算子之间的映射关系。遍历待转换算法模型中的操作，利用预先构建的算子转换映射表，基于遍历出的操作，在算子转换映射表中找到相匹配的原算子及对应的目标算子，根据相匹配的原算子及对应的目标算子对待转换算法模型进行转换，得到适配目标框架的算法模型。

Description

不同框架下模型转换方法和装置、设备及存储介质

技术领域

本公开涉及人工智能技术领域，尤其涉及一种不同框架下模型转换方法和装置、设备及存储介质。

背景技术

人工智能的实现离不开开发框架，目前国外主要框架模型为：caffe、tensorflow、pytorch、mxnet等；国内主要的框架模型为：华为om、百度pdmodel。

但是，不同人工智能框架下训练出来的模型并不互通，不同框架人工智能算法模型之间的转换不统一，转换难度大。如何将不同框架人工智能算法模型之间进行转换，以兼容不同的开源框架和模型部署需求，成为本领域技术人员亟待解决的问题。

发明内容

有鉴于此，本公开提出了一种不同框架下模型转换方法和装置、设备及存储介质，以实现不同框架人工智能算法模型之间进行转换。

根据本公开的一方面，提供了一种不同框架下模型转换方法，包括：

获取当前待转换的算法模型，并遍历所述算法模型中的操作；

对当前遍历的操作，由预先构建的算子转换映射表中匹配对应的原算子；

根据匹配的原算子获取目标算子，并根据所述原算子与所述目标算子，对所述算法模型进行转换；

其中，所述算子转换映射表包含所述算法模型所属的原框架下的各原算子与目标框架下的各目标算子之间的映射关系。

在一种可能的实现方式中，还包括构建所述算子转换映射表的操作；

其中，构建所述算子转换映射表时，根据所述原框架下各原算子的操作语义与所述目标框架下各目标算子的操作语义的匹配关系进行构建。

在一种可能的实现方式中，所述算子转换映射表还包括所述原框架下可融合的原算子与所述目标框架下的目标算子之间的映射关系；

其中，所述可融合的原算子为所述原框架的两个以上的原算子结合后的操作语义与所述目标框架下的算子的操作语义相匹配的组合算子。

在一种可能的实现方式中，对当前遍历的操作，由预先构建的算子转换映射表中匹配对应的原算子时，还包括：

确定当前遍历的操作与所述算子转换映射表中相匹配的原算子的个数；

在当前遍历的操作与所述算子转换映射表中相匹配的原算子的个数为两个以上时，采用动态规划算法确定最终用于模型转换的原算子，并根据所确定的最终用于模型转换的原算子及对应的目标算子进行模型转换。

在一种可能的实现方式中，在当前遍历的操作与所述算子转换映射表中相匹配的原算子的个数为一个时，直接执行根据匹配的原算子获取目标算子，并根据所述原算子与所述目标算子，对所述算法模型进行转换的步骤。

在一种可能的实现方式中，采用动态规划算法确定最终用于模型转换的原算子时，包括：

根据各相匹配的原算子与所述目标算子，构建用于记录各相匹配的原算子与对应的所述目标算子的操作映射表；

计算所述操作映射表中每组所述原算子与对应的所述目标算子的执行代价；

根据各所述执行代价，确定最终用于模型转换的原算子。

在一种可能的实现方式中，计算所述执行代价时，通过计算各项所述原算子与对应的所述目标算子之间的复杂程度差值或计算量差值的方式实现。

根据本公开的另一方面，还提供了一种模型转换装置，包括模型处理模块、算子匹配模块和模型转换模块；

所述模型处理模块，被配置为获取当前待转换的算法模型，并遍历所述算法模型中的操作；

所述算子匹配模块，被配置为对当前遍历的操作，由预先构建的算子转换映射表中匹配对应的原算子；

所述模型转换模块，被配置为根据匹配的原算子获取目标算子，并根据所述原算子与所述目标算子，对所述算法模型进行转换；

其中，所述算子转换映射表包含所述算法模型所属的原框架下的各原算子与目标框架下的各目标算子之间的映射关系被配置为读取所述理算法模型，得到所述算法模型中的操作。

根据本公开的另一方面，提供一种模型转换设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述可执行指令时实现上述方法。

根据本公开的另一方面，提供一种非易失性计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。

本公开适用于将不同框架人工智能算法模型之间进行转换，以兼容不同的开源框架和模型部署需求。待转换算法模型为基于原框架下训练出的模型，遍历待转换算法模型中的操作。利用预先构建的算子转换映射表，算子转换映射表中包含有原框架下的各算子和目标框架下的各算子，及两者之间的映射关系，原框架下的各算子作为原算子，目标框架下的各算子作为目标算子，基于遍历出的操作，在算子转换映射表中找到相匹配的原算子及对应的目标算子，根据相匹配的原算子及对应的目标算子对待转换算法模型进行转换，得到适配目标框架的算法模型。

根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。

图1示出本公开一实施例的不同框架下模型转换方法的流程图；

图2示出本公开一实施例的模型转换装置的结构框图；

图3示出本公开一实施例的模型转换设备的结构框图。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

图1示出本公开一实施例的不同框架下模型转换方法的流程图。如图1所示，该不同框架下模型转换方法，包括：步骤S100：获取当前待转换的算法模型，并遍历算法模型中的操作。步骤S200：对当前遍历的操作，由预先构建的算子转换映射表中匹配对应的原算子。步骤S300：根据匹配的原算子获取目标算子，并根据原算子与目标算子，对算法模型进行转换。其中，算子转换映射表包含算法模型所属的原框架下的各算子与目标框架下的各算子之间的映射关系。

本公开适用于将不同框架人工智能算法模型之间进行转换，以兼容不同的开源框架和模型部署需求。待转换算法模型为基于原框架下训练出的模型，遍历待转换算法模型中的操作。利用预先构建的算子转换映射表，算子转换映射表中包含有原框架下的各算子和目标框架下的各算子，及两者之间的映射关系，原框架下的各算子作为原算子，目标框架下的各算子作为目标算子，基于遍历出的操作，在算子转换映射表中找到相匹配的原算子及对应的目标算子，根据相匹配的原算子及对应的目标算子对待转换算法模型进行转换，得到适配目标框架的算法模型。

此处，需要进行说明的是，预先构建的算子转换映射表为多个，不同的原框架与不同的目标框架均对应配置有相应的算子转换表。同时，在一种可能的实现方式中，对于各算子转换表可以通过命名或添加标识的方式进行其所对应的原框架和目标框架的标记。从而在进行当前带转换的算法模型的转换时，可以基于算子转换表的命名或标识来选择与当前待转换的算法模型所属的原框架类型和转换的目标框架类型相匹配的算子转换映射表。

在一种可能的实现方式中，还包括构建算子转换映射表的操作。其中，构建算子转换映射表时，根据原框架下各算子的操作语义与目标框架下各算子的操作语义的匹配关系进行构建。此处，本领域技术人员可以理解的是，操作语义指的是各算子所执行的具体操作。获取原框架算子库中各算子作为原独立操作，同时获取目标框架算子库中各算子作为目标算子，通过判断原独立操作与目标算子的操作语义是否一致，来确定两者映射关系，原独立操作与其操作语义一致的目标算子相匹配。

进一步地，在本公开实施例的方法中，所构建的算子转换映射表还包括原框架下可融合算子与目标框架下的算子之间的映射关系。其中，可融合算子指的是为原框架的两个以上的算子结合后的操作语义与目标框架下的算子的操作语义相匹配的组合算子。

其中，在原框架下进行算子的组合得到可融合算子时可以通过对各算子进行判断，在判断出当前算子对应有可融合的算子时，则对当前算子与可融合该当前算子的算子进行组合形成可融合算子。在一种可能的实现方式中，对于可融合当前算子的选取通常可以选取可融合当前算子的两级算子即可。也就是说，通过遍历源框架下的各算子，对当前遍历的算子进行可融合算子的判断，在判断出当前遍历的算子存在可融合该算子的下一算子或存在可融合该算子的下两个算子时，则将当前正在遍历的算子与可融合该算子的下一算子进行组合形成可融合算子，或者是将当前正在遍历的算子与可融合该算子的下两个算子进行组合形成可融合算子。需要进行说明的是，对原框架下各算子进行可融合算子构建时，采用本领域常用技术手段即可实现，此处不再赘述。

此处，需要进行说明的是，对于没有相匹配目标算子的可融合算子，不进行保留，将原框架下各算子和保留的可融合算子合并为原算子，基于原算子和与其对应的目标算子构建算子转换映射表。

基于构建好的算子转换映射表，对待转换算法模型中的操作进行匹配。在一种可能的实现方式中，对当前遍历的操作，由预先构建的算子转换映射表中匹配对应的原算子时，还包括：确定当前遍历的操作与算子转换映射表中相匹配的原算子的个数。在当前遍历的操作与算子转换映射表中相匹配的原算子的个数为一个时，直接执行根据匹配的原算子获取目标算子，并根据原算子与目标算子，对算法模型进行转换的步骤。

其中，在进行遍历待转换算法模型中的操作时，可以将遍历得到的操作形成拓扑排序。对当前遍历的操作中的各操作与算子转换映射表中的原算子进行对比匹配，对于当前遍历的操作中只有一个相匹配的原算子时，根据算子转换映射表直接对当前遍历的操作进行转换。

在当前遍历的操作与算子转换映射表中相匹配的原算子的个数为两个以上时，采用动态规划算法确定最终用于模型转换的原算子，并根据所确定的最终用于模型转换的原算子及对应的目标算子进行模型转换。

即，对当前遍历的操作中的各操作与算子转换映射表中的原算子进行对比，对于当前遍历的操作中有两个以上相匹配的原算子时，采用动态规划算法计算所有相匹配的原算子组合方式，得到最优的原算子组合，基于最优的原算子组合所对应的目标算子将当前遍历的操作进行转换为目标算法模型。

其中，有两个以上相匹配的原算子指的是，在算子转换映射表存在与当前遍历的操作相匹配的原算子的个数为两个以上。其中，与当前遍历的操作相匹配的原算子可以为源框架下的单独的算子，也可以为源框架下可融合的算子(即，原框架的两个以上的算子结合后的操作语义与目标框架下的算子的操作语义相匹配的组合算子)。

在一种可能的实现方式中，采用动态规划算法确定最终用于模型转换的原算子时，包括：根据各相匹配的原算子与目标算子，构建用于记录各相匹配的原算子与对应的目标算子的操作映射表。计算操作映射表中每组原算子与对应的目标算子的执行代价。根据各执行代价，确定最终用于模型转换的原算子。

具体的，在本公开实施例的方法中，所构建的操作映射表中包括相匹配的原算子和目标算子，以及两者之间的执行代价。根据操作映射表中所记录的各相匹配的原算子和目标算子，以及对应两者之间的执行代价，采用动态规划算法得到最优的相匹配原算子组合。

其中，在一种可能的实现方式中，计算执行代价时，通过计算各项原算子与对应的目标算子之间的复杂程度差值或计算量差值的方式实现。计算执行代价有多种可选方式，如：用操作所需的计算量或者复杂度来衡量操作的执行代价，优选的采用原算子与对应的目标算子之间计算量的差值。

举例来说，待转换算法模型A为框架A经过训练得到的，框架B为目标框架，提取框架A的各算子X1、X2……X5作为原算子(表1中原OP)，和框架B的各算子Y1、Y2……Y9作为目标算子(表1中转换后OP)，将框架A中可融合的各算子进行融合，得到X1+X2、X1+X2+X3……作为可融合算子，将目标算子分别与原算子进行操作语义对比，操作语义一致则为相匹配，原算子与相匹配的目标算子构成算子转换映射表，并计算各相匹配的原算子与目标算子之间的计算量差值作为执行代价，在算子转换映射表中添加执行代价构成操作转换表1如下：

表1

遍历待转换算法模型A，得到待转换算法模型A中的各操作并形成拓扑排序：X1，X2，X3，X4，X5。与操作转换表进行匹配。

在匹配X1操作时，在操作转换表1中可以匹配到如下规则：

原OP	转换后OP	执行代价
			X1	Y1	2
X1+X2	Y2	1
			X1+X2+X3	Y6	4.5

则Cost(X1，X2，X3，X4，X5)＝min[Cost(X1)+Cost(X2，X3，X4，X5)，Cost(X1+X2)+Cost(X3，X4，X5)，Cost(X1+X2+X3)+Cost(X4，X5)]＝min[2+Cost(X2，X3，X4，X5)，1+Cost(X3，X4，X5)，4.5+Cost(X4，X5)]

在匹配X2操作时，在操作转换表1中可以匹配到如下规则：

原OP	转换后OP	执行代价
			X2	Y2	2
X2+X3	Y5	2

Cost(X2，X3，X4，X5)＝min[Cost(X2)+Cost(X3，X4，X5)，Cost(X2+X3)+Cost(X4，X5)]＝min[2+Cost(X3，X4，X5)，2+Cost(X4，X5)]

在匹配X3操作时，在操作转换表1中可以匹配到如下规则：

原OP	转换后OP	执行代价
			X3	Y3	3
X3+X4	Y4	5

Cost(X3，X4，X5)＝min[Cost(X3)+Cost(X4，X5)，Cost(X3+X4)+Cost(X5)]＝min[3+Cost(X4，X5)，5+Cost(X5)]

在匹配X4操作时，在操作转换表1中可以匹配到如下规则：

原OP	转换后OP	执行代价
			X4	Y4	5
X4+X5	Y8	6

Cost(X4，X5)＝min[Cost(X4)+Cost(X5)，Cost(X4+X5)]＝min[5+Cost(X5)]

在匹配X5操作时，在操作转换表1中可以匹配到如下规则：

原OP	转换后OP	执行代价
			X5	Y7	2

Cost(X5)＝2。

其中，Cost为执行代价，通过动态规划算法，得到Cost(X1+X2)+Cost(X3+X4)+Cost(X5)的执行代价为8，为执行代价之和最小的组合方式，X1+X2、X3+X4、X5在操作转换表中对应有目标算子Y2、Y4、Y7，基于Y2、Y4、Y7和现有的模型转换技术得到目标算法模型B。

进一步地，根据本公开的另一方面，还提供一种模型转换装置100。参阅图2，本公开实施例模型转换装置100包括模型处理模块110、算子匹配模块120和模型转换模块130。模型处理模块110，被配置为获取当前待转换的算法模型，并遍历算法模型中的操作。算子匹配模块120，被配置为对当前遍历的操作，由预先构建的算子转换映射表中匹配对应的原算子。模型转换模块130，被配置为根据匹配的原算子获取目标算子，并根据原算子与目标算子，对算法模型进行转换。其中，算子转换映射表包含算法模型所属的原框架下的各原算子与目标框架下的各目标算子之间的映射关系。

更进一步地，根据本公开的另一方面，还提供了一种模型转换设备200。参阅图3，本公开实施例模型转换设备200包括处理器210以及用于存储处理器210可执行指令的存储器220。其中，处理器210被配置为执行可执行指令时实现前面任一的不同框架下模型转换方法。

此处，应当指出的是，处理器210的个数可以为一个或多个。同时，在本公开实施例的模型转换设备200中，还可以包括输入装置230和输出装置240。其中，处理器210、存储器220、输入装置230和输出装置240之间可以通过总线连接，也可以通过其他方式连接，此处不进行具体限定。

存储器220作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序和各种模块，如：本公开实施例的不同框架下模型转换方法所对应的程序或模块。处理器210通过运行存储在存储器220中的软件程序或模块，从而执行模型转换设备200的各种功能应用及数据处理。

输入装置230可用于接收输入的数字或信号。其中，信号可以为产生与设备/终端/服务器的用户设置以及功能控制有关的键信号。输出装置240可以包括显示屏等显示设备。

根据本公开的另一方面，还提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令被处理器210执行时实现前面任一的不同框架下模型转换方法。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种不同框架下模型转换方法，其特征在于，包括：

获取当前待转换的算法模型，并遍历所述算法模型中的操作；

对当前遍历的操作，由预先构建的算子转换映射表中匹配对应的原算子；

根据匹配的原算子获取目标算子，并根据所述原算子与所述目标算子，对所述算法模型进行转换；

其中，所述算子转换映射表包含所述算法模型所属的原框架下的各原算子与目标框架下的各目标算子之间的映射关系。

2.根据权利要求1所述的方法，其特征在于，还包括构建所述算子转换映射表的操作；

其中，构建所述算子转换映射表时，根据所述原框架下各原算子的操作语义与所述目标框架下各目标算子的操作语义的匹配关系进行构建。

3.根据权利要求1所述的方法，其特征在于，所述算子转换映射表还包括所述原框架下可融合的原算子与所述目标框架下的目标算子之间的映射关系；

其中，所述可融合的原算子为所述原框架的两个以上的原算子结合后的操作语义与所述目标框架下的算子的操作语义相匹配的组合算子。

4.根据权利要求1至3任一项所述的方法，其特征在于，对当前遍历的操作，由预先构建的算子转换映射表中匹配对应的原算子时，还包括：

确定当前遍历的操作与所述算子转换映射表中相匹配的原算子的个数；

在当前遍历的操作与所述算子转换映射表中相匹配的原算子的个数为两个以上时，采用动态规划算法确定最终用于模型转换的原算子，并根据所确定的最终用于模型转换的原算子及对应的目标算子进行模型转换。

5.根据权利要求4所述的方法，其特征在于，在当前遍历的操作与所述算子转换映射表中相匹配的原算子的个数为一个时，直接执行根据匹配的原算子获取目标算子，并根据所述原算子与所述目标算子，对所述算法模型进行转换的步骤。

6.根据权利要求4所述的方法，其特征在于，采用动态规划算法确定最终用于模型转换的原算子时，包括：

根据各相匹配的原算子与所述目标算子，构建用于记录各相匹配的原算子与对应的所述目标算子的操作映射表；

计算所述操作映射表中每组所述原算子与对应的所述目标算子的执行代价；

根据各所述执行代价，确定最终用于模型转换的原算子。

7.根据权利要求6所述的方法，其特征在于，计算所述执行代价时，通过计算各项所述原算子与对应的所述目标算子之间的复杂程度差值或计算量差值的方式实现。

8.一种模型转换装置，其特征在于，包括模型处理模块、算子匹配模块和模型转换模块；

所述模型处理模块，被配置为获取当前待转换的算法模型，并遍历所述算法模型中的操作；

所述算子匹配模块，被配置为对当前遍历的操作，由预先构建的算子转换映射表中匹配对应的原算子；

所述模型转换模块，被配置为根据匹配的原算子获取目标算子，并根据所述原算子与所述目标算子，对所述算法模型进行转换；

其中，所述算子转换映射表包含所述算法模型所属的原框架下的各原算子与目标框架下的各目标算子之间的映射关系。

9.一种模型转换设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述可执行指令时实现权利要求1至7中任意一项所述的方法。

10.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至7中任意一项所述的方法。

Images