CN111582433B - 一种硬件友好的神经网络结构自动搜索方法及装置 - Google Patents

Abstract

本发明公开了一种硬件友好的神经网络结构自动搜索方法及装置，该方法包括：扩展原始网络结构中每层的通道数目上限；在每层通道数目的全局搜索空间中，测量不同输出分辨率下，每个通道数目在硬件上的实际推理时延；利用实际推理时延数据学习实际推理时延的模型，预测每个通道数目的期望推理时延，根据实际推理时延和期望推理时延确定通道数目的分数；将通道数目的全局搜索空间分成多个不同的通道组，根据分数选出多个通道候选，构建出对硬件友好的搜索空间；利用搜索算法在所构建的硬件友好的搜索空间中，找到硬件对应的神经网络结构。该方法为后续的搜索策略提供对于硬件高效的通道数量候选，搜索到的网络结构在特定硬件平台上具有更好的性能。

Description

一种硬件友好的神经网络结构自动搜索方法及装置

技术领域

本发明涉及深度学习技术领域，特别涉及一种硬件友好的神经网络结构自动搜索方法及装置。

背景技术

深度神经网络已在许多领域取得了巨大的成功，如自然语言处理，语音识别和计算机视觉等。深度神经网络的成功得益于其表征能力，实现了自动化的特征工程，其网络结构，例如每层网络的通道数目对其推理表现影响很大。

现在深度神经网络结构复杂多样，设计空间巨大，人工设计需要高昂的人力成本，因此如何找到最优的神经网络结构成为了一个难点。

目前相关技术一般先构建网络结构的搜索空间，然后利用搜索算法在搜索空间中对网络结构进行采样，并结合表现评估策略对采样到的网络结构进行评估，最终得到最优的网络结构。

相关技术一般用理论计算量FLOPs来评估模型的推理速度，与模型的实际表现不符。另外，由于硬件平台之间的架构存在差异性，不同硬件平台上最优的网络结构一般不一致，而相关技术无法针对不同硬件平台，设计该硬件平台上最高效的网络结构。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种硬件友好的神经网络结构自动搜索方法，该方法构建硬件友好的通道数目搜索空间，为后续的搜索策略提供对于硬件高效的通道数量候选，搜索到的网络结构在特定硬件平台上具有更好的性能，得到最优的神经网络结构。

本发明的另一个目的在于提出一种硬件友好的神经网络结构自动搜索装置。

为达到上述目的，本发明一方面实施例提出了一种硬件友好的神经网络结构自动搜索方法，包括：

扩展原始网络结构中每层的通道数目上限，以扩大通道数目的全局搜索空间；

在每层通道数目的全局搜索空间中，测量不同输出分辨率下，每个通道数目在硬件上的实际推理时延；

利用所测量的实际推理时延数据，学习实际推理时延的模型，利用所述实际推理时延的模型预测每个通道数目的期望推理时延，根据所述实际推理时延和所述期望推理时延确定通道数目的分数；

将通道数目的全局搜索空间分成多个不同的通道组，根据通道数目的分数在每个通道组中选出每个通道的通道候选，从而在全局搜索空间中选出多个通道候选，构建出对所述硬件友好的搜索空间；

利用搜索算法在所构建的所述硬件友好的搜索空间中，找到所述硬件对应的神经网络结构。

本发明实施例的硬件友好的神经网络结构自动搜索方法，通过针对特定硬件平台，考虑到不同硬件平台上最优网络结构的差异性，针对不同的硬件平台分别设计其最高效的网络结构，从而提高了所部署的神经网络的推理速度；构建硬件友好的通道数目搜索空间，为后续的搜索策略提供对于硬件高效的通道数量候选，搜索到的网络结构在特定硬件平台上具有更好的性能，得到最优的神经网络结构。

另外，根据本发明上述实施例的硬件友好的神经网络结构自动搜索方法还可以具有以下附加的技术特征：

在本发明的一个实施例中，所述实际推理时延的模型为：

f(x)＝kx^a+b

其中，k和b为待学习参数，x为通道数目，a为硬件相关的可调参数。

在本发明的一个实施例中，根据所述实际推理时延和所述期望推理时延确定通道数目的分数，包括：

将所述实际推理时延和所述期望推理时延的差值作为该通道数目的分数，s(x)＝f(x)-m(x)，其中，s(x)为通道数目的分数，f(x)为利用实际推理时延的模型预测的每个通道数目的期望推理时延，m(x)为实际推理时延。

在本发明的一个实施例中，所述根据通道数目的分数在每个通道组中选出每个通道的通道候选，包括：

在通道组中选出通道数目的分数最高的通道数目作为通道组的通道候选。

在本发明的一个实施例中，所述利用搜索算法在所构建的硬件友好的搜索空间中，找到所述硬件对应的神经网络结构，包括：

利用可导的搜索算法在所构建的硬件友好的搜索空间中，找到所述硬件对应的神经网络结构。

为达到上述目的，本发明另一方面实施例提出了一种硬件友好的神经网络结构自动搜索装置，包括：

扩展模块，用于扩展原始网络结构中每层的通道数目上限，以扩大通道数目的全局搜索空间；

测量模块，用于在每层通道数目的全局搜索空间中，测量不同输出分辨率下，每个通道数目在硬件上的实际推理时延；

计算模块，用于利用所测量的实际推理时延数据，学习实际推理时延的模型，利用所述实际推理时延的模型预测每个通道数目的期望推理时延，根据所述实际推理时延和所述期望推理时延确定通道数目的分数；

构建模块，用于将通道数目的全局搜索空间分成多个不同的通道组，根据通道数目的分数在每个通道组中选出每个通道的通道候选，从而在全局搜索空间中选出多个通道候选，构建出对所述硬件友好的搜索空间；

搜索模块，用于利用搜索算法在所构建的所述硬件友好的搜索空间中，找到所述硬件对应的神经网络结构。

本发明实施例的硬件友好的神经网络结构自动搜索装置，通过针对特定硬件平台，考虑到不同硬件平台上最优网络结构的差异性，针对不同的硬件平台分别设计其最高效的网络结构，从而提高了所部署的神经网络的推理速度；构建硬件友好的通道数目搜索空间，为后续的搜索策略提供对于硬件高效的通道数量候选，搜索到的网络结构在特定硬件平台上具有更好的性能，得到最优的神经网络结构。

另外，根据本发明上述实施例的硬件友好的神经网络结构自动搜索装置还可以具有以下附加的技术特征：

在本发明的一个实施例中，所述实际推理时延的模型为：

f(x)＝kx^a+b

其中，k和b为待学习参数，x为通道数目，a为硬件相关的可调参数。

在本发明的一个实施例中，根据所述实际推理时延和所述期望推理时延确定通道数目的分数，包括：

将所述实际推理时延和所述期望推理时延的差值作为该通道数目的分数，s(x)＝f(x)-m(x)，其中，s(x)为通道数目的分数，f(x)为利用实际推理时延的模型预测的每个通道数目的期望推理时延，m(x)为实际推理时延。

在本发明的一个实施例中，所述根据通道数目的分数在每个通道组中选出每个通道的通道候选，包括：

在通道组中选出通道数目的分数最高的通道数目作为通道组的通道候选。

在本发明的一个实施例中，所述利用搜索算法在所构建的硬件友好的搜索空间中，找到所述硬件对应的神经网络结构，包括：

利用可导的搜索算法在所构建的硬件友好的搜索空间中，找到所述硬件对应的神经网络结构。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的硬件友好的神经网络结构自动搜索方法流程图；

图2为根据本发明一个实施例的硬件友好的神经网络结构自动搜索方法流程框图；

图3为根据本发明一个实施例的硬件友好的神经网络结构自动搜索装置结构图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的硬件友好的神经网络结构自动搜索方法及装置。

首先将参照附图描述根据本发明实施例提出的硬件友好的神经网络结构自动搜索方法。

图1为根据本发明一个实施例的硬件友好的神经网络结构自动搜索方法流程图。

如图1所示，该硬件友好的神经网络结构自动搜索方法包括以下步骤：

步骤S1，扩展原始网络结构中每层的通道数目上限，以扩大通道数目的全局搜索空间。

具体地，将原始网络结构中每层的通道数目上限进行扩展，从而扩大通道数目的全局搜索空间，增加搜索到的网络结构的灵活性。

步骤S2，在每层通道数目的全局搜索空间中，测量不同输出分辨率下，每个通道数目在硬件上的实际推理时延。

可以理解的是，考虑到不同硬件平台上最优网络结构的差异性，针对不同的硬件平台分别设计其最高效的网络结构，从而提高了所部署的神经网络的推理速度。根据不同的硬件平台，测量不同输出分辨率下，每个通道数目在该硬件平台上的实际推理时延m(x)。

步骤S3，利用所测量的实际推理时延数据，学习实际推理时延的模型，利用实际推理时延的模型预测每个通道数目的期望推理时延，根据实际推理时延和期望推理时延确定通道数目的分数。

进一步地，从所测量的实际推理时延数据中，学习出实际推理时延的模型，实际推理时延的模型可以为：

f(x)＝kx^a+b

其中，k和b为待学习参数，x为通道数目，a为硬件相关的可调参数。

利用上述实际推理时延的模型预测每个通道数目的期望推理时延f(x)，利用实际推理时延和期望推理时间计算该通道的分数。

进一步地，作为一种具体的实现方式，将实际推理时延和期望推理时延的差值作为该通道数目的分数，s(x)＝f(x)-m(x)，其中，s(x)为通道数目的分数，f(x)为利用实际推理时延的模型预测的每个通道数目的期望推理时延，m(x)为实际推理时延。

步骤S4，将通道数目的全局搜索空间分成多个不同的通道组，根据通道数目的分数在每个通道组中选出每个通道的通道候选，从而在全局搜索空间中选出多个通道候选，构建出对硬件友好的搜索空间。

具体第，将通道数目的全局搜索空间分成g个不同的通道组，在每个通道组中选出该通道组的通道候选，从而可以从全局搜索空间中选出g个通道候选。根据选出的g个通道候选构建出对该硬件友好的搜索空间。

进一步地，作为一种具体的实施方式，在通道组中选出通道数目的分数最高的通道数目作为通道组的通道候选。

通过该步骤设计了一个对硬件友好的神经网络结构搜索空间，为后续的搜索策略提供对于硬件高效的通道数量候选。而相关技术中采用的搜索空间是传统做法，即将按均匀步长采样，并未将硬件特性考虑到搜索空间的设计中。

步骤S5，利用搜索算法在所构建的硬件友好的搜索空间中，找到硬件对应的神经网络结构。

进一步地，利用可导的搜索算法在所构建的硬件友好的搜索空间中，找到针对该硬件最为高效的神经网络结构。

本方案提出了一个硬件友好的神经网络结构搜索框架，采用实际推理时延作为效率度量，能针对不同的特定硬件分别设计其最高效的网络结构。而相关技术中采用与实际表现有偏差的理论计算量作为效率度量，从而无法针对不同硬件设计实际推理中最高效的网络结构。

如图2所示，神经网络模型的结构对模型的推理表现影响很大，找到最优的网络结构能够让模型表现达到最优。当用户给定需要部署模型的硬件平台后，可以通过硬件友好的神经网络结构自动搜索方法找到针对该硬件平台最高效的神经网络结构，从而提高部署到实际生产中的模型性能。本发明设计的硬件友好的搜索空间能够提供高效的通道数目候选，相比传统的搜索空间能够更充分挖掘模型在实际生产中的性能表现。

根据本发明实施例提出的硬件友好的神经网络结构自动搜索方法，通过针对特定硬件平台，考虑到不同硬件平台上最优网络结构的差异性，针对不同的硬件平台分别设计其最高效的网络结构，从而提高了所部署的神经网络的推理速度；构建硬件友好的通道数目搜索空间，为后续的搜索策略提供对于硬件高效的通道数量候选，搜索到的网络结构在特定硬件平台上具有更好的性能，得到最优的神经网络结构。

其次参照附图描述根据本发明实施例提出的硬件友好的神经网络结构自动搜索装置。

图3为根据本发明一个实施例的硬件友好的神经网络结构自动搜索装置结构图。

如图3所示，该硬件友好的神经网络结构自动搜索装置包括：扩展模块100、测量模块200、计算模块300、构建模块400和搜索模块500。

扩展模块100，用于扩展原始网络结构中每层的通道数目上限，以扩大通道数目的全局搜索空间。

测量模块200，用于在每层通道数目的全局搜索空间中，测量不同输出分辨率下，每个通道数目在硬件上的实际推理时延。

计算模块300，用于利用所测量的实际推理时延数据，学习实际推理时延的模型，利用实际推理时延的模型预测每个通道数目的期望推理时延，根据实际推理时延和期望推理时延确定通道数目的分数。

构建模块400，用于将通道数目的全局搜索空间分成多个不同的通道组，根据通道数目的分数在每个通道组中选出每个通道的通道候选，从而在全局搜索空间中选出多个通道候选，构建出对硬件友好的搜索空间。

搜索模块500，用于利用搜索算法在所构建的硬件友好的搜索空间中，找到硬件对应的神经网络结构。

进一步地，在本发明的一个实施例中，实际推理时延的模型为：

f(x)＝kx^a+b

其中，k和b为待学习参数，x为通道数目，a为硬件相关的可调参数。

进一步地，在本发明的一个实施例中，根据实际推理时延和期望推理时延确定通道数目的分数，包括：

将实际推理时延和期望推理时延的差值作为该通道数目的分数，s(x)＝f(x)-m(x)，其中，s(x)为通道数目的分数，f(x)为利用实际推理时延的模型预测的每个通道数目的期望推理时延，m(x)为实际推理时延。

进一步地，在本发明的一个实施例中，根据通道数目的分数在每个通道组中选出每个通道的通道候选，包括：

在通道组中选出通道数目的分数最高的通道数目作为通道组的通道候选。

进一步地，在本发明的一个实施例中，利用搜索算法在所构建的硬件友好的搜索空间中，找到硬件对应的神经网络结构，包括：

利用可导的搜索算法在所构建的硬件友好的搜索空间中，找到硬件对应的神经网络结构。

需要说明的是，前述对硬件友好的神经网络结构自动搜索方法实施例的解释说明也适用于该实施例的装置，此处不再赘述。

根据本发明实施例提出的硬件友好的神经网络结构自动搜索装置，通过针对特定硬件平台，考虑到不同硬件平台上最优网络结构的差异性，针对不同的硬件平台分别设计其最高效的网络结构，从而提高了所部署的神经网络的推理速度；构建硬件友好的通道数目搜索空间，为后续的搜索策略提供对于硬件高效的通道数量候选，搜索到的网络结构在特定硬件平台上具有更好的性能，得到最优的神经网络结构。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种硬件友好的神经网络结构自动搜索方法，其特征在于，包括以下步骤：

扩展原始网络结构中每层的通道数目上限，以扩大通道数目的全局搜索空间；

在每层通道数目的全局搜索空间中，测量不同输出分辨率下，每个通道数目在硬件上的实际推理时延；

利用所测量的实际推理时延数据，学习实际推理时延的模型，利用所述实际推理时延的模型预测每个通道数目的期望推理时延，根据所述实际推理时延和所述期望推理时延确定通道数目的分数；

将通道数目的全局搜索空间分成多个不同的通道组，根据通道数目的分数在每个通道组中选出每个通道的通道候选，从而在全局搜索空间中选出多个通道候选，构建出对所述硬件友好的搜索空间；

利用搜索算法在所构建的所述硬件友好的搜索空间中，找到所述硬件对应的神经网络结构。

2.根据权利要求1所述的硬件友好的神经网络结构自动搜索方法，其特征在于，所述实际推理时延的模型为：

f(x)＝kx^a+b

其中，k和b为待学习参数，x为通道数目，a为硬件相关的可调参数。

3.根据权利要求1所述的硬件友好的神经网络结构自动搜索方法，其特征在于，根据所述实际推理时延和所述期望推理时延确定通道数目的分数，包括：

将所述实际推理时延和所述期望推理时延的差值作为该通道数目的分数，s(x)＝f(x)-m(x)，其中，s(x)为通道数目的分数，f(x)为利用实际推理时延的模型预测的每个通道数目的期望推理时延，m(x)为实际推理时延。

4.根据权利要求1所述的硬件友好的神经网络结构自动搜索方法，其特征在于，所述根据通道数目的分数在每个通道组中选出每个通道的通道候选，包括：

在通道组中选出通道数目的分数最高的通道数目作为通道组的通道候选。

5.根据权利要求1所述的硬件友好的神经网络结构自动搜索方法，其特征在于，所述利用搜索算法在所构建的硬件友好的搜索空间中，找到所述硬件对应的神经网络结构，包括：

利用可导的搜索算法在所构建的硬件友好的搜索空间中，找到所述硬件对应的神经网络结构。

6.一种硬件友好的神经网络结构自动搜索装置，其特征在于，包括：

扩展模块，用于扩展原始网络结构中每层的通道数目上限，以扩大通道数目的全局搜索空间；

测量模块，用于在每层通道数目的全局搜索空间中，测量不同输出分辨率下，每个通道数目在硬件上的实际推理时延；

计算模块，用于利用所测量的实际推理时延数据，学习实际推理时延的模型，利用所述实际推理时延的模型预测每个通道数目的期望推理时延，根据所述实际推理时延和所述期望推理时延确定通道数目的分数；

构建模块，用于将通道数目的全局搜索空间分成多个不同的通道组，根据通道数目的分数在每个通道组中选出每个通道的通道候选，从而在全局搜索空间中选出多个通道候选，构建出对所述硬件友好的搜索空间；

搜索模块，用于利用搜索算法在所构建的所述硬件友好的搜索空间中，找到所述硬件对应的神经网络结构。

7.根据权利要求6所述的硬件友好的神经网络结构自动搜索装置，其特征在于，所述实际推理时延的模型为：

f(x)＝kx^a+b

其中，k和b为待学习参数，x为通道数目，a为硬件相关的可调参数。

8.根据权利要求6所述的硬件友好的神经网络结构自动搜索装置，其特征在于，根据所述实际推理时延和所述期望推理时延确定通道数目的分数，包括：

将所述实际推理时延和所述期望推理时延的差值作为该通道数目的分数，s(x)＝f(x)-m(x)，其中，s(x)为通道数目的分数，f(x)为利用实际推理时延的模型预测的每个通道数目的期望推理时延，m(x)为实际推理时延。

9.根据权利要求6所述的硬件友好的神经网络结构自动搜索装置，其特征在于，所述根据通道数目的分数在每个通道组中选出每个通道的通道候选，包括：

在通道组中选出通道数目的分数最高的通道数目作为通道组的通道候选。

10.根据权利要求6所述的硬件友好的神经网络结构自动搜索装置，其特征在于，所述利用搜索算法在所构建的硬件友好的搜索空间中，找到所述硬件对应的神经网络结构，包括：

利用可导的搜索算法在所构建的硬件友好的搜索空间中，找到所述硬件对应的神经网络结构。

Images