CN109635934A - 一种神经网络推理结构优化方法及装置 - Google Patents
一种神经网络推理结构优化方法及装置 Download PDFInfo
- Publication number
- CN109635934A CN109635934A CN201811612053.3A CN201811612053A CN109635934A CN 109635934 A CN109635934 A CN 109635934A CN 201811612053 A CN201811612053 A CN 201811612053A CN 109635934 A CN109635934 A CN 109635934A
- Authority
- CN
- China
- Prior art keywords
- network layer
- layer
- network
- optimization
- incorporated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Abstract
本申请实施例提供一种神经网络推理结构优化方法，包括：当神经网络推理结构的第M个网络层和第M+2个网络层均为归一化层，第M+1个网络层为卷积层或全连接层，且所述第M+1个网络层的输出仅与所述第M+2个网络层相连时，则调用第一预设算法对所述第M+1个网络层进行处理，以将所述第M+2个网络层合并至所述第M+1个网络层，以得到所述第M+1个网络层的第一优化网络层；调用第二预设算法对所述第M+1个网络层的第一优化网络层进行处理，以将所述第M个网络层合并至所述第M+1个网络层的第一优化网络层。通过本方案能够最大限度的降低神经网络推理中的计算量和处理时延，以达到提高神经网络模型推理效率的目的。
Description
技术领域
本申请涉及机器学习技术领域，具体涉及神经网络推理结构优化方法及装置。
背景技术
批归一化(Batch Normalization，BN)，是为了克服神经网络层数加深导致难以训练而诞生的一个算法。它是减少内部协变量转移的一个步骤，其可以减少梯度对参数或它们的初始值尺度上的依赖，对通过网络的梯度流动产生有益的影响。另外，为了加快训练神经网络的梯度下降收敛速度，神经网络一般也会对输入数据加入归一化处理操作。
由于加入了BN或者归一化处理，神经网络推理结构相比之前在处理层次深度和计算量上都有所增加，同时增大了处理时延，对神经网络模型推理部署效率产生不利影响。
发明内容
本申请实施例提供一种神经网络推理结构优化方法及装置，能够在一定程度上降低神经网络推理中的计算量和处理时延，以达到提高神经网络模型推理效率的目的。
本申请实施例的第一方面提供了一种神经网络推理结构优化方法，包括：
确认神经网络推理结构中第N个网络层为归一化层，其中，N为正整数；
确认第N-1个网络层是否满足预设条件，其中，所述预设条件为所述第N-1个网络层为卷积层或全连接层，且所述第N-1个网络层的输出仅与所述第N个网络层相连；
若所述第N-1个网络层满足所述预设条件，则调用第一预设算法对所述第N-1个网络层进行处理，以将所述第N个网络层合并至所述第N-1个网络层。
本申请实施例的第二方面提供了一种神经网络推理结构优化方法，包括：
确认神经网络推理结构中第N个网络层为归一化层，其中，N为正整数；
确认第N+1个网络层是否为卷积层或全连接层；
若所述第N+1个网络层为卷积层或全连接层，则调用第二预设算法对所述第N+1个网络层进行处理，以将所述第N个网络层合并至所述第N+1个网络层。
本申请实施例的第三方面提供了一种神经网络推理结构优化方法，包括：
当神经网络推理结构的第M个网络层和第M+2个网络层均为归一化层，第M+1个网络层为卷积层或全连接层，且所述第M+1个网络层的输出仅与所述第M+2个网络层相连时，则：
调用第一预设算法对所述第M+1个网络层进行处理，以将所述第M+2个网络层合并至所述第M+1个网络层，以得到所述第M+1个网络层的第一优化网络层；
调用第二预设算法对所述第M+1个网络层的第一优化网络层进行处理，以将所述第M个网络层合并至所述第M+1个网络层的第一优化网络层；
或者，调用所述第二预设算法对所述第M+1个网络层进行处理，以将所述第M个网络层合并至所述第M+1个网络层，以得到所述第M+1个网络层的第二优化网络层；
调用所述第一预设算法对所述第M+1个网络层的第二优化网络层进行处理，以将所述第M+2个网络层合并至所述第M+1个网络层的第二优化网络层。
本申请实施例的第四方面提供了一种神经网络推理结构优化装置，包括：
归一化层确认模块，用于确认神经网络推理结构中第N个网络层为归一化层，其中，N为正整数；
判断模块，用于确认第N-1个网络层是否满足预设条件，其中，所述预设条件为所述第N-1个网络层为卷积层或全连接层，且所述第N-1个网络层的输出仅与所述第N个网络层相连；
第一合并模块，用于在所述第N-1个网络层满足所述预设条件时，调用第一预设算法将所述第N个网络层合并至所述第N-1个网络层。
本申请实施例的第五方面提供了一种神经网络推理结构优化装置，包括：
归一化层确认模块，用于确认神经网络推理结构中第N个网络层为归一化层，其中，N为正整数；
判断模块，用于确认第N+1个网络层是否为卷积层或全连接层；
第一合并模块，用于在所述第N+1个网络层为卷积层或全连接层时，调用第二预设算法将所述第N个网络层合并至所述第N+1个网络层。
本申请实施例的第六方面提供了一种神经网络推理结构优化装置，包括：
第一多层合并模块，用于当神经网络推理结构的第M个网络层和第M+2个网络层均为归一化层，第M+1个网络层为卷积层或全连接层，且所述第M+1个网络层的输出仅与所述第M+2个网络层相连时，调用第一预设算法对所述第M+1个网络层进行处理，以将所述第M+2个网络层合并至所述第M+1个网络层，以得到所述第M+1个网络层的第一优化网络层，并调用第二预设算法对所述第M+1个网络层的第一优化网络层进行处理，以将所述第M个网络层合并至所述第M+1个网络层的第一优化网络层；
或者，包括第二多层合并模块，用于当神经网络推理结构的第M个网络层和第M+2个网络层均为归一化层，第M+1个网络层为卷积层或全连接层，且所述第M+1个网络层的输出仅与所述第M+2个网络层相连时，调用所述第二预设算法对所述第M+1个网络层进行处理，以将所述第M个网络层合并至所述第M+1个网络层，以得到所述第M+1个网络层的第二优化网络层，并调用所述第一预设算法对所述第M+1个网络层的第二优化网络层进行处理，以将所述第M+2个网络层合并至所述第M+1个网络层的第二优化网络层。
本申请实施例的第七方面提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行以实现所述的方法。
实施本申请实施例，至少具有如下有益效果：
通过本申请实施例，在神经网络推理结构中通过获取归一化层，在确认该归一化层的前一层为卷积层或全连接层，且该归一化层的前一层的输出仅与该归一化层相连时，调用第一预设算法将该归一化层合并至该卷积层或全连接层；或者，通过获取归一化层，确认该归一化层的后一层为卷积层或全连接层时，调用第二预设算法将该归一化层合并至该卷积层或全连接层；通过将满足条件的归一化层与其相邻卷积层或全连接层进行合并，使得神经网络推理结构的层数相对变少，深度相对变浅，从而降低了神经网络推理中的计算量和处理时延，进而提高了神经网络模型的推理效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的一种神经网络推理结构优化方法的流程示意图；
图2是本发明实施例提供的一种神经网络推理结构优化方法的流程示意图；
图3是本发明实施例提供的一种神经网络推理结构优化方法的流程示意图；
图4是本发明实施例提供的一种神经网络推理结构优化方法的流程示意图；
图5是本发明实施例提供的一种神经网络推理结构优化方法的流程示意图；
图6是本发明实施例提供的一种神经网络推理结构优化方法的流程示意图；
图7是本发明实施例提供的一种终端的结构示意图；
图8是本发明实施例提供的一种神经网络推理结构优化装置的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。
一般的，神经网络推理结构中包括若干网络层，该若干网络层包括卷积层、归一化层、全连接层、池化层、激活层等。
通常批归一化的处理操作如下：
优选的，本方案中将式(1)进行如下变换：
则定义为BN变换后的等效系数。
其中，x,y分别为BN的输入和输出，为进行缩放和转移的输入，γ,β分别为BN的缩放和转移参数；μ,σ分别为训练样本的均值和标准差，这两个值可以通过批的滑动平均方式计算得到；ε为给定的很小的常数。
神经网络一般还会对输入数据进行预处理归一化操作，其也成为了神经网络不可缺少的处理，类似的处理如下：
本方案中将式(2)进行如下变换：
＝ax+c；
其中x,y分别为预处理归一化的输入和输出，μ,σ分别为训练样本的均值和方差，为预处理归一化变换后的等效系数。
不失一般性，可将批归一化和预处理归一化统一为归一化处理。
请参阅图1，图1为本申请实施例提供了一种神经网络推理结构优化方法的流程示意图。如图1所示，其可包括步骤101-103，具体如下：
101、确认神经网络推理结构中第N个网络层为归一化层，其中，N为正整数；
102、确认第N-1个网络层是否满足预设条件，其中，所述预设条件为所述第N-1个网络层为卷积层或全连接层，且所述第N-1个网络层的输出仅与所述第N个网络层相连；
所述第N-1个网络层的输出仅与所述第N个网络层相连，即所述第N个网络层在实现对第N-1个网络层的输出进行归一化处理时候，并不与其他网络层相连，保障了在将所述第N个网络层合并至所述第N-1个网络层时，不影响其他网络层的参数的正常，即若所述第N-1个网络层的输出不仅与所述第N个网络层相连，同时也并行的与网络层N’相连，则在将所述第N个网络层合并至所述第N-1个网络层时，影响了所述并行的网络层N’在合并前后运算的等效性。
103、若所述第N-1个网络层满足所述预设条件，则调用第一预设算法对所述第N-1个网络层进行处理，以将所述第N个网络层合并至所述第N-1个网络层。
其中，所述第一预设算法为：
其中，Wi,j表示所述第N-1个网络层的第j个通道输入与第i个通道输出之间的权重系数；ai,ci表示所述第N个网络层即归一化层的第i个通道的等效系数；分别表示将所述第N个网络层与所述第N-1个网络层按照第一预设算法进行合并后得到的所述第N-1个网络层的所述第j个通道输入与第i个通道输出之间的第一权重系数以及所述第N-1个网络层的第i个通道的第一偏置参数。
所述第一预设算法的推导过程如下：
对于第N个网络层为归一化层时，xi′,yi分别表示所述第N个网络层的第i个通道输入和输出，则：
其中，xj表示卷积层或者全连接层的第j个通道输入，R为第N-1个网络层的通道输入的个数。
通过本申请实施例，在神经网络推理结构中通过获取归一化层，在确认该归一化层的前一层为卷积层或全连接层，且该归一化层的前一层的输出仅与该归一化层相连时，调用第一预设算法将该归一化层合并至该卷积层或全连接层；通过将满足条件的归一化层与其相邻卷积层或全连接层进行合并，使得神经网络推理结构的层数相对变少，深度相对变浅，从而相对降低了神经网络推理中的计算量和处理时延，进而提高了神经网络模型的推理效率。
图2为本申请实施例提供了一种神经网络推理结构优化方法的流程示意图。该实施例是对图1所示实施例的进一步拓展，如图2所示，其可包括步骤201-205，具体如下：
201、确认神经网络推理结构中第N个网络层为归一化层，其中，N为正整数；
202、确认第N-1个网络层是否满足预设条件，其中，所述预设条件为所述第N-1个网络层为卷积层或全连接层，且所述第N-1个网络层的输出仅与所述第N个网络层相连；
203、若所述第N-1个网络层满足所述预设条件，则调用第一预设算法对所述第N-1个网络层进行处理，以将所述第N个网络层合并至所述第N-1个网络层；
204、若所述第N-1个网络层不满足所述预设条件，则确认第N+1个网络层是否为卷积层或全连接层；
205、若所述第N+1个网络层为卷积层或全连接层，则调用第二预设算法对所述第N+1个网络层进行处理，以将所述第N个网络层合并至所述第N+1个网络层。
当所述第N+1个网络层为卷积层或者所述第N+1个网络层为全连接层时，通过调用第二预设算法对所述第N+1个网络层进行处理，以将所述第N个网络层合并至所述第N+1个网络层，其中，所述第二预设算法为：
其中，aj,cj表示所述第N个网络层即归一化层的第j个通道的等效系数；Wi,j,bi分别表示所述第N+1个网络层的第j个通道输入与第i个通道输出之间的权重系数以及第i个通道的偏置系数，R为所述第N+1个网络层的通道输入的个数；分别表示将所述第N个网络层与所述第N+1个网络层按照第二预设算法进行合并后得到的所述第N+1个网络层的第j个通道输入与第i个通道输出之间的第二权重系数及第i个通道的第二偏置参数。
具体地，所述第二预设算法的推导过程如下：
对于第N个网络层为归一化层时，xj′,yi分别表示所述第N+1个网络层为卷积层或全连接层的第j个通道输入和第i个通道输出，则：
其中，xj为第N个网络层的第j个通道输入。
在上述合并之后，为了保障神经网络推理结构在网络层合并前后运算的等效性，则对于第N+1个网络层为卷积层且存在填充数值时，需要对填充数值进行相应的修改。如果转换前卷积层中存在的填充数值为p，则合并后得到的卷积层的第j个通道输入的填充数值相应调整为(p-cj)/aj，其中，aj,cj表示所述归一化层即第N个网络层的第j个通道的等效系数。
通过本申请实施例，在神经网络推理结构中通过获取归一化层，确认该归一化层的前一层不满足所述预设条件的时候，则判断该归一化层的后一层是否为卷积层或全连接层，当该归一化层的后一层是卷积层或全连接层时，则调用第二预设算法将该归一化层合并至该卷积层或全连接层；通过将满足条件的归一化层与其相邻卷积层或全连接层进行合并，使得神经网络推理结构的层数相对变少，深度相对变浅，从而相对降低了神经网络推理中的计算量和处理时延，进而提高了神经网络模型的推理效率。
图3为本申请实施例提供了一种神经网络推理结构优化方法的流程示意图。如图3所示，其可包括步骤301-303，具体如下：
301、确认神经网络推理结构中第N个网络层为归一化层，其中，N为正整数；
302、确认第N+1个网络层是否为卷积层或全连接层；
303、若所述第N+1个网络层为卷积层或全连接层，则调用第二预设算法对所述第N+1个网络层进行处理，以将所述第N个网络层合并至所述第N+1个网络层。
进一步，在上述合并之后，为了保障神经网络推理结构在网络层合并前后运算的等效性，则对于第N+1个网络层为卷积层且存在填充数值时，需要对填充数值进行相应的修改。如果转换前卷积层中存在的填充数值为p，则合并后得到的卷积层的第j个通道输入的填充数值相应调整为(p-cj)/aj，其中，aj,cj表示所述归一化层即第N个网络层的第j个通道的等效系数。
通过本申请实施例，在神经网络推理结构中通过获取归一化层，确认该归一化层的后一层为卷积层或全连接层时，调用第二预设算法将该归一化层合并至该卷积层或全连接层；通过将归一化层与其相邻卷积层或全连接层进行合并，使得神经网络推理结构的层数相对变少，深度相对变浅，从而相对降低了神经网络推理中的计算量和处理时延，进而提高了神经网络模型的推理效率；同时将网络层中存在填充数值的层的填充数值进行相应调整，使得保障了神经网络推理结构在优化前后运算的等效性。
图4为本申请实施例提供了一种神经网络推理结构优化方法的流程示意图。如图4所示，其可包括步骤401-405，具体如下：
401、确认神经网络推理结构中第N个网络层为归一化层，其中，N为正整数；
402、确认第N+1个网络层是否为卷积层或全连接层；
403、若所述第N+1个网络层为卷积层或全连接层，则调用第二预设算法对所述第N+1个网络层进行处理，以将所述第N个网络层合并至所述第N+1个网络层；
404、若所述第N+1个网络层不是卷积层或全连接层，则确认第N-1个网络层是否满足预设条件，其中，所述预设条件为所述第N-1个网络层为卷积层或全连接层，且所述第N-1个网络层的输出仅与所述第N个网络层相连；
405、若所述第N-1个网络层满足所述预设条件，则调用第一预设算法对所述第N-1个网络层进行处理，以将所述第N个网络层合并至所述第N-1个网络层。
通过本申请实施例，在神经网络推理结构中通过获取归一化层，确认该归一化层的后一层不是卷积层或全连接层时，则判断该归一化层的前一层是否满足所述预设条件，当该归一化层的前一层满足所述预设条件时，则调用第一预设算法将该归一化层合并至该卷积层或全连接层；通过将满足条件的归一化层与其相邻卷积层或全连接层进行合并，使得神经网络推理结构的层数相对变少，深度相对变浅，则相对降低了在神经网络推理中的计算量和处理时延，达到高效应用的目的。
图5为本申请实施例提供了一种神经网络推理结构优化方法的流程示意图。如图5所示，该实施例是对于当所述神经网络推理结构中相邻三个网络层依次是归一化层、卷积层或全连接层、归一化层时进行的相应处理，如下其可包括步骤501-503，具体如下：
501、确认神经网络推理结构的第M个网络层和第M+2个网络层均为归一化层，第M+1个网络层为卷积层或全连接层，且所述第M+1个网络层的输出仅与所述第M+2个网络层相连；
502、调用第一预设算法对所述第M+1个网络层进行处理，以将所述第M+2个网络层合并至所述第M+1个网络层，以得到所述第M+1个网络层的第一优化网络层；
503、调用第二预设算法对所述第M+1个网络层的第一优化网络层进行处理，以将所述第M个网络层合并至所述第M+1个网络层的第一优化网络层。
即，对于第M个网络层和第M+2个网络层均为归一化层，第M+1个网络层为卷积层或全连接层，且所述第M+1个网络层的输出仅与所述第M+2个网络层相连时，则先调用第一预设算法对所述第M+1个网络层进行处理，以将所述第M+2个网络层合并至所述第M+1个网络层；然后调用第二预设算法对合并后得到的所述第M+1个网络层的第一优化网络层进行处理，以将所述第M个网络层合并至所述第M+1个网络层的第一优化网络层。
进一步，在将所述第M个网络层合并至所述第M+1个网络层的第一优化网络层之后，对于第M+1个网络层为卷积层且存在填充数值时，需要对填充数值进行相应的修改。如果转换前卷积层中存在的填充数值为p，则合并后得到的卷积层的第j个通道输入的填充数值相应调整为(p-cj)/aj，其中，aj,cj表示所述归一化层即第M个网络层的第j个通道的等效系数。
通过本申请实施例，在神经网络推理结构中通过获取相邻三个网络层依次是归一化层、卷积层或全连接层、归一化层，且卷积层或全连接层的输出仅与后一归一化层相连时，先调用第一预设算法将后一归一化层合并至该卷积层或全连接层，然后调用第二预设算法将前一归一化层合并至上述合并得到的卷积层或全连接层；通过将相邻三个网络层合并后得到一个网络层，使得神经网络推理结构的层数相对变少，深度相对变浅，从而相对降低了神经网络推理中的计算量和处理时延，进而提高了神经网络模型的推理效率。
图6为本申请实施例提供了一种神经网络推理结构优化方法的流程示意图。如图6所示，其可包括步骤601-603，具体如下：
601、确认神经网络推理结构的第M个网络层和第M+2个网络层均为归一化层，第M+1个网络层为卷积层或全连接层，且所述第M+1个网络层的输出仅与所述第M+2个网络层相连；
602、调用所述第二预设算法对所述第M+1个网络层进行处理，以将所述第M个网络层合并至所述第M+1个网络层，以得到所述第M+1个网络层的第二优化网络层；
其中，在将所述第M个网络层合并至所述第M+1个网络层之后，对于第M+1个网络层为卷积层且存在填充数值时，需要对填充数值进行相应的修改。如果转换前卷积层中存在的填充数值为p，则合并后得到的卷积层的第j个通道输入的填充数值相应调整为(p-cj)/aj，其中，aj,cj表示所述归一化层即第M个网络层的第j个通道的等效系数。
603、调用所述第一预设算法对所述第M+1个网络层的第二优化网络层进行处理，以将所述第M+2个网络层合并至所述第M+1个网络层的第二优化网络层。
通过本申请实施例，在神经网络推理结构中通过获取相邻三个网络层依次是归一化层、卷积层或全连接层、归一化层，且卷积层或全连接层的输出仅与后一归一化层相连时，先调用第二预设算法将前一归一化层合并至该卷积层或全连接层，然后调用第一预设算法将后一归一化层合并至上述合并得到的卷积层或全连接层；通过将相邻三个网络层合并后得到一个网络层，使得神经网络推理结构的层数相对变少，深度相对变浅，从而相对降低了神经网络推理中的计算量和处理时延，进而提高了神经网络模型的推理效率。
与上述实施例一致的，请参阅图7，图7为本申请实施例提供的一种终端的结构示意图，如图所示，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，上述程序包括用于执行以下步骤的指令；
确认神经网络推理结构中第N个网络层为归一化层，其中，N为正整数；
确认第N-1个网络层是否满足预设条件，其中，所述预设条件为所述第N-1个网络层为卷积层或全连接层，且所述第N-1个网络层的输出仅与所述第N个网络层相连；
若所述第N-1个网络层满足所述预设条件，则调用第一预设算法对所述第N-1个网络层进行处理，以将所述第N个网络层合并至所述第N-1个网络层。
或者，确认神经网络推理结构中第N个网络层为归一化层，其中，N为正整数；
确认第N+1个网络层是否为卷积层或全连接层；
若所述第N+1个网络层为卷积层或全连接层，则调用第二预设算法对所述第N+1个网络层进行处理，以将所述第N个网络层合并至所述第N+1个网络层。
或者，当神经网络推理结构的第M个网络层和第M+2个网络层均为归一化层，第M+1个网络层为卷积层或全连接层，且所述第M+1个网络层的输出仅与所述第M+2个网络层相连时，则：
调用第一预设算法对所述第M+1个网络层进行处理，以将所述第M+2个网络层合并至所述第M+1个网络层，以得到所述第M+1个网络层的第一优化网络层；
调用第二预设算法对所述第M+1个网络层的第一优化网络层进行处理，以将所述第M个网络层合并至所述第M+1个网络层的第一优化网络层；
或者，调用所述第二预设算法对所述第M+1个网络层进行处理，以将所述第M个网络层合并至所述第M+1个网络层，以得到所述第M+1个网络层的第二优化网络层；
调用所述第一预设算法对所述第M+1个网络层的第二优化网络层进行处理，以将所述第M+2个网络层合并至所述第M+1个网络层的第二优化网络层。
通过本申请实施例，在神经网络推理结构中通过获取归一化层，在确认该归一化层的前一层为卷积层或全连接层，且该归一化层的前一层的输出仅与该归一化层相连时，调用第一预设算法将该归一化层合并至该卷积层或全连接层；或者，通过获取归一化层，确认该归一化层的后一层为卷积层或全连接层时，调用第二预设算法将该归一化层合并至该卷积层或全连接层；通过将满足条件的归一化层与其相邻卷积层或全连接层进行合并，使得神经网络推理结构的层数相对变少，深度相对变浅，则相对降低了神经网络推理中的计算量和处理时延，达到高效应用的目的。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，终端为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对终端进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
与上述一致的，请参阅图8，图8为本申请实施例提供了一种神经网络推理结构优化装置的结构示意图。该装置包括归一化层确认模块801、判断模块802、第一合并模块803，具体地：
归一化层确认模块801，用于确认神经网络推理结构中第N个网络层为归一化层，其中，N为正整数；
判断模块802，用于确认第N-1个网络层是否满足预设条件，其中，所述预设条件为所述第N-1个网络层为卷积层或全连接层，且所述第N-1个网络层的输出仅与所述第N个网络层相连；
第一合并模块803，用于在所述第N-1个网络层满足所述预设条件时，调用第一预设算法将所述第N个网络层合并至所述第N-1个网络层。
作为另一实施例，还提供一种神经网络推理结构优化装置，包括：
归一化层确认模块，用于确认神经网络推理结构中第N个网络层为归一化层，其中，N为正整数；
判断模块，用于确认第N+1个网络层是否为卷积层或全连接层；
第一合并模块，用于在所述第N+1个网络层为卷积层或全连接层时，调用第二预设算法将所述第N个网络层合并至所述第N+1个网络层。
作为另一实施例，还提供一种神经网络推理结构优化装置，包括：
第一多层合并模块，用于当神经网络推理结构的第M个网络层和第M+2个网络层均为归一化层，第M+1个网络层为卷积层或全连接层，且所述第M+1个网络层的输出仅与所述第M+2个网络层相连时，调用第一预设算法对所述第M+1个网络层进行处理，以将所述第M+2个网络层合并至所述第M+1个网络层，以得到所述第M+1个网络层的第一优化网络层，并调用第二预设算法对所述第M+1个网络层的第一优化网络层进行处理，以将所述第M个网络层合并至所述第M+1个网络层的第一优化网络层；
或者，包括第二多层合并模块，用于当神经网络推理结构的第M个网络层和第M+2个网络层均为归一化层，第M+1个网络层为卷积层或全连接层，且所述第M+1个网络层的输出仅与所述第M+2个网络层相连时，调用所述第二预设算法对所述第M+1个网络层进行处理，以将所述第M个网络层合并至所述第M+1个网络层，以得到所述第M+1个网络层的第二优化网络层，并调用所述第一预设算法对所述第M+1个网络层的第二优化网络层进行处理，以将所述第M+2个网络层合并至所述第M+1个网络层的第二优化网络层。
通过本申请实施例，在神经网络推理结构中通过获取归一化层，在确认该归一化层的前一层为卷积层或全连接层，且该归一化层的前一层的输出仅与该归一化层相连时，调用第一预设算法将该归一化层合并至该卷积层或全连接层；或者，通过获取归一化层，确认该归一化层的后一层为卷积层或全连接层时，调用第二预设算法将该归一化层合并至该卷积层或全连接层；通过将满足条件的归一化层与其相邻卷积层或全连接层进行合并，使得神经网络推理结构的层数相对变少，深度相对变浅，则相对降低了神经网络推理中的计算量和处理时延，达到高效应用的目的。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种神经网络推理结构优化方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种神经网络推理结构优化方法的部分或全部步骤。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在申请明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器、随机存取器、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种神经网络推理结构优化方法，其特征在于，包括：
确认神经网络推理结构中第N个网络层为归一化层，其中，N为正整数；
确认第N-1个网络层是否满足预设条件，其中，所述预设条件为所述第N-1个网络层为卷积层或全连接层，且所述第N-1个网络层的输出仅与所述第N个网络层相连；
若所述第N-1个网络层满足所述预设条件，则调用第一预设算法对所述第N-1个网络层进行处理，以将所述第N个网络层合并至所述第N-1个网络层。
2.根据权利要求1所述的方法，其特征在于，还包括：
若所述第N-1个网络层不满足所述预设条件，则确认第N+1个网络层是否为卷积层或全连接层；
若所述第N+1个网络层为卷积层或全连接层，则调用第二预设算法对所述第N+1个网络层进行处理，以将所述第N个网络层合并至所述第N+1个网络层。
3.一种神经网络推理结构优化方法，其特征在于，包括：
确认神经网络推理结构中第N个网络层为归一化层，其中，N为正整数；
确认第N+1个网络层是否为卷积层或全连接层；
若所述第N+1个网络层为卷积层或全连接层，则调用第二预设算法对所述第N+1个网络层进行处理，以将所述第N个网络层合并至所述第N+1个网络层。
4.根据权利要求3所述的方法，其特征在于，还包括：
若所述第N+1个网络层不是卷积层或全连接层，则确认第N-1个网络层是否满足预设条件，其中，所述预设条件为所述第N-1个网络层为卷积层或全连接层，且所述第N-1个网络层的输出仅与所述第N个网络层相连；
若所述第N-1个网络层满足所述预设条件，则调用第一预设算法对所述第N-1个网络层进行处理，以将所述第N个网络层合并至所述第N-1个网络层。
5.一种神经网络推理结构优化方法，其特征在于，包括：
当神经网络推理结构的第M个网络层和第M+2个网络层均为归一化层，第M+1个网络层为卷积层或全连接层，且所述第M+1个网络层的输出仅与所述第M+2个网络层相连时，则：
调用第一预设算法对所述第M+1个网络层进行处理，以将所述第M+2个网络层合并至所述第M+1个网络层，以得到所述第M+1个网络层的第一优化网络层；
调用第二预设算法对所述第M+1个网络层的第一优化网络层进行处理，以将所述第M个网络层合并至所述第M+1个网络层的第一优化网络层；
或者，调用所述第二预设算法对所述第M+1个网络层进行处理，以将所述第M个网络层合并至所述第M+1个网络层，以得到所述第M+1个网络层的第二优化网络层；
调用所述第一预设算法对所述第M+1个网络层的第二优化网络层进行处理，以将所述第M+2个网络层合并至所述第M+1个网络层的第二优化网络层。
6.一种神经网络推理结构优化装置，其特征在于，包括：
归一化层确认模块，用于确认神经网络推理结构中第N个网络层为归一化层，其中，N为正整数；
判断模块，用于确认第N-1个网络层是否满足预设条件，其中，所述预设条件为所述第N-1个网络层为卷积层或全连接层，且所述第N-1个网络层的输出仅与所述第N个网络层相连；
第一合并模块，用于在所述第N-1个网络层满足所述预设条件时，调用第一预设算法将所述第N个网络层合并至所述第N-1个网络层。
7.根据权利要求6所述的装置，其特征在于，还包括第二合并模块，用于：
在所述第N-1个网络层不满足所述预设条件时，当确认第N+1个网络层为卷积层或全连接层时，调用第二预设算法将所述第N个网络层合并至所述第N+1个网络层。
8.一种神经网络推理结构优化装置，其特征在于，包括：
归一化层确认模块，用于确认神经网络推理结构中第N个网络层为归一化层，其中，N为正整数；
判断模块，用于确认第N+1个网络层是否为卷积层或全连接层；
第一合并模块，用于在所述第N+1个网络层为卷积层或全连接层时，调用第二预设算法将所述第N个网络层合并至所述第N+1个网络层。
9.根据权利要求8所述的装置，其特征在于，还包括第二合并模块，用于：
在所述第N+1个网络层不是卷积层或全连接层时，当确认第N-1个网络层满足预设条件时，其中，所述预设条件为所述第N-1个网络层为卷积层或全连接层，且所述第N-1个网络层的输出仅与所述第N个网络层相连，调用第一预设算法将所述第N个网络层合并至所述第N-1个网络层。
10.一种神经网络推理结构优化装置，其特征在于，包括：
第一多层合并模块，用于当神经网络推理结构的第M个网络层和第M+2个网络层均为归一化层，第M+1个网络层为卷积层或全连接层，且所述第M+1个网络层的输出仅与所述第M+2个网络层相连时，调用第一预设算法对所述第M+1个网络层进行处理，以将所述第M+2个网络层合并至所述第M+1个网络层，以得到所述第M+1个网络层的第一优化网络层，并调用第二预设算法对所述第M+1个网络层的第一优化网络层进行处理，以将所述第M个网络层合并至所述第M+1个网络层的第一优化网络层；
或者，包括第二多层合并模块，用于当神经网络推理结构的第M个网络层和第M+2个网络层均为归一化层，第M+1个网络层为卷积层或全连接层，且所述第M+1个网络层的输出仅与所述第M+2个网络层相连时，调用所述第二预设算法对所述第M+1个网络层进行处理，以将所述第M个网络层合并至所述第M+1个网络层，以得到所述第M+1个网络层的第二优化网络层，并调用所述第一预设算法对所述第M+1个网络层的第二优化网络层进行处理，以将所述第M+2个网络层合并至所述第M+1个网络层的第二优化网络层。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811612053.3A CN109635934A (zh) | 2018-12-27 | 2018-12-27 | 一种神经网络推理结构优化方法及装置 |
| PCT/CN2019/121520 WO2020134828A1 (zh) | 2018-12-27 | 2019-11-28 | 一种神经网络推理结构优化方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811612053.3A CN109635934A (zh) | 2018-12-27 | 2018-12-27 | 一种神经网络推理结构优化方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109635934A true CN109635934A (zh) | 2019-04-16 |
Family
ID=66078360
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811612053.3A Pending CN109635934A (zh) | 2018-12-27 | 2018-12-27 | 一种神经网络推理结构优化方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109635934A (zh) |
| WO (1) | WO2020134828A1 (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020134828A1 (zh) * | 2018-12-27 | 2020-07-02 | 深圳云天励飞技术有限公司 | 一种神经网络推理结构优化方法及装置 |
| CN111582433A (zh) * | 2020-04-30 | 2020-08-25 | 清华大学 | 一种硬件友好的神经网络结构自动搜索方法及装置 |
| CN112862100A (zh) * | 2021-01-29 | 2021-05-28 | 网易有道信息技术（北京）有限公司 | 用于优化神经网络模型推理的方法及设备 |
| CN115841590A (zh) * | 2022-11-16 | 2023-03-24 | 中国烟草总公司湖南省公司 | 神经网络推理优化方法、装置、设备及可读存储介质 |
| CN115906941A (zh) * | 2022-11-16 | 2023-04-04 | 中国烟草总公司湖南省公司 | 神经网络自适应退出方法、装置、设备及可读存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11308391B2 (en) * | 2017-03-06 | 2022-04-19 | Baidu Usa Llc | Offline combination of convolutional/deconvolutional and batch-norm layers of convolutional neural network models for autonomous driving vehicles |
| CN108009634B (zh) * | 2017-12-21 | 2021-05-25 | 美的集团股份有限公司 | 一种卷积神经网络的优化方法、装置及计算机存储介质 |
| CN108304921B (zh) * | 2018-02-09 | 2021-02-02 | 北京市商汤科技开发有限公司 | 卷积神经网络的训练方法及图像处理方法、装置 |
| CN109034371B (zh) * | 2018-06-27 | 2021-06-25 | 北京文安智能技术股份有限公司 | 一种深度学习模型推理期加速方法、装置及系统 |
| CN109635934A (zh) * | 2018-12-27 | 2019-04-16 | 深圳云天励飞技术有限公司 | 一种神经网络推理结构优化方法及装置 |
-
2018
- 2018-12-27 CN CN201811612053.3A patent/CN109635934A/zh active Pending
-
2019
- 2019-11-28 WO PCT/CN2019/121520 patent/WO2020134828A1/zh active Application Filing
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020134828A1 (zh) * | 2018-12-27 | 2020-07-02 | 深圳云天励飞技术有限公司 | 一种神经网络推理结构优化方法及装置 |
| CN111582433A (zh) * | 2020-04-30 | 2020-08-25 | 清华大学 | 一种硬件友好的神经网络结构自动搜索方法及装置 |
| CN111582433B (zh) * | 2020-04-30 | 2022-07-15 | 清华大学 | 一种硬件友好的神经网络结构自动搜索方法及装置 |
| CN112862100A (zh) * | 2021-01-29 | 2021-05-28 | 网易有道信息技术（北京）有限公司 | 用于优化神经网络模型推理的方法及设备 |
| CN115841590A (zh) * | 2022-11-16 | 2023-03-24 | 中国烟草总公司湖南省公司 | 神经网络推理优化方法、装置、设备及可读存储介质 |
| CN115906941A (zh) * | 2022-11-16 | 2023-04-04 | 中国烟草总公司湖南省公司 | 神经网络自适应退出方法、装置、设备及可读存储介质 |
| CN115841590B (zh) * | 2022-11-16 | 2023-10-03 | 中国烟草总公司湖南省公司 | 神经网络推理优化方法、装置、设备及可读存储介质 |
| CN115906941B (zh) * | 2022-11-16 | 2023-10-03 | 中国烟草总公司湖南省公司 | 神经网络自适应退出方法、装置、设备及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020134828A1 (zh) | 2020-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109635934A (zh) | 一种神经网络推理结构优化方法及装置 | |
| CN107832804A (zh) | 一种信息处理方法及相关产品 | |
| CN109300107A (zh) | 磁共振血管壁成像的斑块处理方法、装置和计算设备 | |
| CN110163362A (zh) | 一种计算装置及方法 | |
| CN107770783A (zh) | 一种基站扩容改造方案设计方法及相关设备 | |
| CN109690530A (zh) | 模型训练方法及其节点、网络及存储装置 | |
| CN108765264A (zh) | 图像美颜方法、装置、设备及存储介质 | |
| CN109117455A (zh) | 计算装置及方法 | |
| CN109299487A (zh) | 神经网络模型、加速器、建模方法及装置、介质及系统 | |
| CN105139346B (zh) | 一种数字图像处理方法和数字图像处理装置 | |
| CN110175338A (zh) | 一种数据处理方法及装置 | |
| CN110059800B (zh) | 脉冲神经网络转换方法及相关转换芯片 | |
| CN110059812A (zh) | 脉冲神经网络运算芯片及相关运算方法 | |
| CN112881518B (zh) | 一种动态滤波补偿器剩余寿命预测方法 | |
| CN109740730A (zh) | 运算方法、装置及相关产品 | |
| CN109740729A (zh) | 运算方法、装置及相关产品 | |
| CN109800859A (zh) | 一种神经网络批归一化的优化方法及装置 | |
| CN107977628A (zh) | 神经网络训练方法、人脸检测方法及人脸检测装置 | |
| CN110096739A (zh) | 有限状态机的模型生成方法、生成装置及终端设备 | |
| CN109716288A (zh) | 网络模型编译器及相关产品 | |
| CN109784226A (zh) | 人脸抓拍方法及相关装置 | |
| CN112467752A (zh) | 分布式能源配电系统调压方法及装置 | |
| CN109190753A (zh) | 神经网络的处理方法及装置、存储介质、电子装置 | |
| TW201616888A (zh) | 多態流量網路之可靠度評估系統及其方法 | |
| CN110175253A (zh) | 一种用户个性化服装搭配方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190416 |
|
| RJ01 | Rejection of invention patent application after publication |