CN111144561A - 一种神经网络模型确定方法及装置 - Google Patents

Abstract

本申请实施例提供了一种神经网络模型确定方法及装置，其中，神经网络模型确定方法包括：获取目标任务的任务配置参数、训练资源的资源配置参数、模型设计配置参数以及模型压缩配置参数；基于任务配置参数、资源配置参数及模型设计配置参数，生成针对目标任务的初始神经网络模型；根据模型压缩配置参数，选择相应的预设压缩方式，对初始神经网络模型进行压缩处理，得到待部署的神经网络模型。通过本方案，可以提高神经网络模型确定过程中的开发效率。

Description

一种神经网络模型确定方法及装置

技术领域

本申请涉及机器学习技术领域，特别是涉及一种神经网络模型确定方法及装置。

背景技术

神经网络作为机器学习研究中的一个新兴领域，通过模仿人脑的机制来解析数据，是一种通过建立和模拟人脑进行分析学习的智能模型。神经网络在计算机视觉、语音识别、机器人控制等领域已经取得了巨大成功，通过多个网络层的逐层运算，可以提取出目标的特征信息，从而实现智能跟踪、智能检索等功能，因此，神经网络逐渐成为了现代人工智能的基石。

然而，神经网络模型的确定过程十分复杂，从初始设计神经网络模型到最终确定可在设备端部署的神经网络模型的过程耗时较大，通常需要人工干预，通过人工验证的方式，对神经网络模型进行大量的模型验证、模型调试等工作，导致神经网络模型确定过程中的开发效率较低。

发明内容

本申请实施例的目的在于提供一种神经网络模型确定方法及装置，以提高神经网络模型确定过程中的开发效率。具体技术方案如下：

第一方面，本申请实施例提供了一种神经网络模型确定方法，所述方法包括：

获取目标任务的任务配置参数、训练资源的资源配置参数、模型设计配置参数以及模型压缩配置参数；

基于所述任务配置参数、所述资源配置参数及所述模型设计配置参数，生成针对所述目标任务的初始神经网络模型；

根据所述模型压缩配置参数，选择相应的预设压缩方式，对所述初始神经网络模型进行压缩处理，得到待部署的神经网络模型。

可选的，所述任务配置参数，包括：任务类型；所述资源配置参数，包括：训练数据以及算力资源；

所述基于所述任务配置参数、所述资源配置参数及所述模型设计配置参数，生成针对所述目标任务的初始神经网络模型，包括：

根据所述模型设计配置参数，确定神经网络模型的搜索空间及搜索策略；

根据所述任务类型及所述算力资源，从所述搜索空间中，确定神经网络模型的各网络层内部初始结构及网络层间初始结构，并从所述搜索策略中，确定各网络层内部训练方式及网络层间训练方式；

从所有训练数据中提取预设数量的训练数据，组成小数据集；

根据各网络层内部初始结构，基于所述小数据集，采用对应的网络层内部训练方式，训练得到各网络层内部结构模型；

根据所述网络层间初始结构，连接各网络层内部结构模型，得到待训练神经网络模型；

根据所述待训练神经网络模型，基于大数据集，采用所述网络层间训练方式，训练得到初始神经网络模型，其中，所述大数据集包括所有训练数据。

可选的，所述根据所述模型压缩配置参数，选择相应的预设压缩方式，对所述初始神经网络模型进行压缩处理，得到待部署的神经网络模型，包括：

对所述初始神经网络模型进行知识迁移，得到待压缩神经网络模型；

根据所述模型压缩配置参数，选择相应的预设压缩方式；

根据所述预设压缩方式，对所述初始神经网络模型进行模型压缩自适应分析，得到压缩量；

按照所述压缩量，利用所述预设压缩方式，对所述待压缩神经网络模型进行压缩处理，得到待部署的神经网络模型。

可选的，所述预设压缩方式，包括：模型结构化压缩方式或模型定点压缩方式；

所述模型压缩配置参数，包括：待部署平台类型；

所述根据所述模型压缩配置参数，选择相应的预设压缩方式，包括：

若所述待部署平台类型为专用集成电路ASIC平台或现场可编程门阵列FPGA平台，则选择所述模型定点压缩方式；

所述按照所述压缩量，利用所述预设压缩方式，对所述待压缩神经网络模型进行压缩处理，得到待部署的神经网络模型，包括：

按照所述压缩量，利用所述模型定点压缩方式，对所述待压缩神经网络模型进行压缩处理，得到待部署的神经网络模型。

可选的，所述模型压缩配置参数，还包括：精度；

所述根据所述模型压缩配置参数，选择相应的预设压缩方式，包括：

若所述待部署平台类型为图形处理器GPU平台、且所述精度高于预设阈值，则选择所述模型结构化压缩方式；

所述按照所述压缩量，利用所述预设压缩方式，对所述待压缩神经网络模型进行压缩处理，得到待部署的神经网络模型，包括：

按照所述压缩量，利用所述模型结构化压缩方式，所述对所述待压缩神经网络模型进行压缩处理，得到待部署的神经网络模型。

第二方面，本申请实施例提供了一种神经网络模型确定装置，所述装置包括：

获取模块，用于获取目标任务的任务配置参数、训练资源的资源配置参数、模型设计配置参数以及模型压缩配置参数；

生成模块，用于基于所述任务配置参数、所述资源配置参数及所述模型设计配置参数，生成针对所述目标任务的初始神经网络模型；

压缩模块，用于根据所述模型压缩配置参数，选择相应的预设压缩方式，对所述初始神经网络模型进行压缩处理，得到待部署的神经网络模型。

可选的，所述任务配置参数，包括：任务类型；所述资源配置参数，包括：训练数据以及算力资源；

所述生成模块，具体用于：

根据所述模型设计配置参数，确定神经网络模型的搜索空间及搜索策略；

根据所述任务类型及所述算力资源，从所述搜索空间中，确定神经网络模型的各网络层内部初始结构及网络层间初始结构，并从所述搜索策略中，确定各网络层内部训练方式及网络层间训练方式；

从所有训练数据中提取预设数量的训练数据，组成小数据集；

根据各网络层内部初始结构，基于所述小数据集，采用对应的网络层内部训练方式，训练得到各网络层内部结构模型；

根据所述网络层间初始结构，连接各网络层内部结构模型，得到待训练神经网络模型；

根据所述待训练神经网络模型，基于大数据集，采用所述网络层间训练方式，训练得到初始神经网络模型，其中，所述大数据集包括所有训练数据。

可选的，所述压缩模块，具体用于：

对所述初始神经网络模型进行知识迁移，得到待压缩神经网络模型；

根据所述模型压缩配置参数，选择相应的预设压缩方式；

根据所述预设压缩方式，对所述初始神经网络模型进行模型压缩自适应分析，得到压缩量；

按照所述压缩量，利用所述预设压缩方式，对所述待压缩神经网络模型进行压缩处理，得到待部署的神经网络模型。

可选的，所述预设压缩方式，包括：模型结构化压缩方式或模型定点压缩方式；

所述模型压缩配置参数，包括：待部署平台类型；

所述压缩模块，具体用于：

若所述待部署平台类型为专用集成电路ASIC平台或现场可编程门阵列FPGA平台，则选择所述模型定点压缩方式；

按照所述压缩量，利用所述模型定点压缩方式，对所述待压缩神经网络模型进行压缩处理，得到待部署的神经网络模型。

可选的，所述模型压缩配置参数，还包括：精度；

所述压缩模块，具体用于：

若所述待部署平台类型为图形处理器GPU平台、且所述精度高于预设阈值，则选择所述模型结构化压缩方式；

按照所述压缩量，利用所述模型结构化压缩方式，所述对所述待压缩神经网络模型进行压缩处理，得到待部署的神经网络模型。

第三方面，本申请实施例提供了一种电子设备，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使执行本申请实施例第一方面的方法步骤。

第四方面，本申请实施例提供了一种机器可读存储介质，存储有机器可执行指令，在被处理器调用和执行时，所述机器可执行指令促使所述处理器执行本申请实施例第一方面的方法步骤。

本申请实施例提供的一种神经网络模型确定方法及装置，获取目标任务的任务配置参数、训练资源的资源配置参数、模型设计配置参数以及模型压缩配置参数，基于任务配置参数、资源配置参数及模型设计配置参数，生成针对目标任务的初始神经网络模型，根据模型压缩配置参数，选择相应的预设压缩方式，对初始神经网络模型进行压缩处理，得到待部署的神经网络模型。通过获取神经网络模型确定过程中所需的配置参数，基于这些配置参数，经过生成初始神经网络模型、模型压缩的过程，最终可得到能够在设备端部署的神经网络模型，整个过程无需人工干预，大大降低了神经网络模型确定过程中的开发成本，提高了开发效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例的神经网络模型确定方法的流程示意图；

图2为本申请实施例的确定神经网络模型的系统框架示意图；

图3为本申请实施例的神经网络模型确定装置的结构示意图；

图4为本申请实施例的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了提高神经网络模型确定过程中的开发效率，本申请实施例提高了一种神经网络模型确定方法、装置、电子设备及机器可读存储介质。

下面，首先对本申请实施例所提供的神经网络模型确定方法进行介绍。

本申请实施例所通过的一种神经网络模型确定方法的执行主体可以为执行智能算法的电子设备，该电子设备可以只用于确定神经网络模型，也可以具有目标检测与分割、行为检测与识别或者语音识别等功能，例如，电子设备可以为远程计算机、远程服务器、智能相机、智能语音设备等等，执行主体中应该至少包括搭载有核心处理芯片的处理器。实现本申请实施例所提供的一种神经网络模型确定方法的方式可以为设置于执行主体中的软件、硬件电路和逻辑电路中的至少一种方式。

如图1所示，本申请实施例所提供的一种神经网络模型确定方法，该神经网络模型确定方法可以包括如下步骤：

S101，获取目标任务的任务配置参数、训练资源的资源配置参数、模型设计配置参数以及模型压缩配置参数。

目标任务为预先设置的设备需要实现的功能任务，例如目标检测任务、目标分类任务、目标跟踪任务等；目标任务的任务配置参数是在进行目标任务设置时，所设置的与目标任务相关的参数，例如目标任务的任务类别、任务执行场景、设备属性等等。

训练资源为在进行神经网络模型训练时，所需要的数据和硬件资源；训练资源的资源配置参数是在设置目标任务时，所搜集的相关的训练数据和训练平台资源，资源配置参数可以包括训练数据和算力资源，训练数据可以包括正样本数据和负样本数据，与传统的神经网络样本数据相同，这里不再赘述，算力资源是进行训练时所使用的硬件资源，例如GPU(Graphics Processing Unit，图形处理器)、ASIC(Application Specific IntegratedCircuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)等。

模型设计配置参数是预先设置的用于进行神经网络模型初始设置的相关参数，包括神经网络模型库、多种类型的卷积核、卷积核连接方式、网络层连接方式、训练方式等等。

模型压缩配置参数是预先设置的用于进行神经网络模型压缩的相关参数，包括运行神经网络模型的设备端的平台类型、精度要求、可利用资源等等。

目标任务的任务配置参数、训练资源的资源配置参数、模型设计配置参数和模型压缩配置参数都是预先设置的参数，这些参数可以经过外部接口从外部获取，是可以根据需求更改的；这些参数也可以在系统搭建之初，就已经存储在存储介质中，从存储介质中获取到这些参数。

S102，基于任务配置参数、资源配置参数及模型设计配置参数，生成针对目标任务的初始神经网络模型。

由于任务配置参数给定了执行目标任务的任务类别、任务执行场景、设备属性等，资源配置参数给定了神经网络模型训练相关的训练数据和算力资源等，模型设计配置参数给定了神经网络模型初始设置的相关参数，这些参数共同决定了进行神经网络模型初始设置的方式，因此，基于任务配置参数、资源配置参数及模型设计配置参数，可以生成针对目标任务的初始神经网络模型。

可选的，任务配置参数，可以包括：任务类型。资源配置参数，可以包括：训练数据以及算力资源。

相应的，S102具体可以包括如下步骤：

第一步，根据模型设计配置参数，确定神经网络模型的搜索空间及搜索策略。

搜索空间为在初选神经网络结构时，各种网络层内部结构、网络层间结构所组成的空间集合，例如网络层内部卷积的类型、不同卷积类型直接的连接方式、网络层之间的连接方式、网络层数等等；搜索策略为神经网络模型进行学习训练时，可以选择的学习训练策略的集合，例如生物进化策略、增强学习策略等。网络层内部结构、网络层间结构、各种学习训练策略，都可以通过神经网络模型相关的经验知识预先设置。

模型设计配置参数是预先设置的用于进行神经网络模型初始设置的相关参数，包含有上述搜索空间和搜索策略相关的信息，因此，根据模型设计配置参数，可以确定出神经网络模型的搜索空间及搜索策略。

第二步，根据任务类型及算力资源，从搜索空间中，确定神经网络模型的各网络层内部初始结构及网络层间初始结构，并从搜索策略中，确定各网络层内部训练方式及网络层间训练方式。

任务类型决定了神经网络的大致结构，这可以根据经验数据进行设置，例如针对目标检测任务，网络层的层数基本固定，每一层的内部卷积类型、卷积大小、连接方式也较为相近，这样，可以按照通用的方式，从搜索空间中确定出一种与任务类型相关的神经网络模型的各网络层内部初始结构及网络层间初始结构，当然，在确定神经网络模型的各网络层内部初始结构及网络层间初始结构时，还需要考虑算力资源，算力资源限定了神经网络的大小，如果算力资源有限，所选择的的各网络层内部初始结构及网络层间初始结构不应太过复杂。

同样的，在确定各网络层内部训练方式及网络层间训练方式时，也需要考虑任务类型，例如目标检测任务常使用增强学习策略、目标跟踪任务常使用生物进化策略等，并且，算力资源同样影响着各网络层内部训练方式及网络层间训练方式的确定，如果算力资源有限，则需要选择学习训练的速度快一点的策略。

在实际的应用中，可以对任务类型和算力资源进行加权考虑，来确定的神经网络模型的各网络层内部初始结构、网络层间初始结构、各网络层内部训练方式和网络层间训练方式。

第三步，从所有训练数据中提取预设数量的训练数据，组成小数据集。

小数据集的提取可以是随机的，也可以是按照一定的规律提取，例如提取目标较为集中的多个训练数据。

第四步，根据各网络层内部初始结构，基于小数据集，采用对应的网络层内部训练方式，训练得到各网络层内部结构模型。

在提取到小数据集后，可以在小数据上对网络层内部结构进行训练，确定构建神经网络的内部合理的组成方式，例如，可以确定网络层内部卷积的类型及不同卷积类型之间的连接方式等。具体的训练方式与传统的训练方式相同，这里不再赘述。

第五步，根据网络层间初始结构，连接各网络层内部结构模型，得到待训练神经网络模型。

第六步，根据待训练神经网络模型，基于大数据集，采用网络层间训练方式，训练得到初始神经网络模型，其中，大数据集包括所有训练数据。

在对各网络层内部结构模型训练完成后，可以基于网络层间初始结构，将这些网络层内部结构模型连接起来，再在大数据集上进行训练，由于大数据集的训练数据更为全面，训练得到的初始神经网络模型更为合理。

S103，根据模型压缩配置参数，选择相应的预设压缩方式，对初始神经网络模型进行压缩处理，得到待部署的神经网络模型。

模型压缩配置参数是预先设置的用于进行神经网络模型压缩的相关参数，模型压缩配置参数决定了对初始神经网络模型进行压缩的方式，预设压缩方式可以包括知识迁移、模型结构化压缩、模型稀疏压缩、模型定点压缩、模型压缩量自适应分析等等。模型压缩配置参数可以包括待部署的设备端的平台类型、精度要求、可利用资源等等，不同的平台类型、精度要求、可利用资源，对应了不同的预设压缩方式，模型压缩配置参数与预设压缩方式的对应关系可以预先建立，则根据模型压缩配置参数，可以选择出相应的预设压缩方式，利用该预设压缩方式，对初始神经网络模型进行压缩处理，即可得到待部署的神经网络模型。

可选的，S103具体可以包括如下步骤：

对初始神经网络模型进行知识迁移，得到待压缩神经网络模型；

根据模型压缩配置参数，选择相应的预设压缩方式；

根据预设压缩方式，对初始神经网络模型进行模型压缩自适应分析，得到压缩量；

按照压缩量，利用预设压缩方式，对待压缩神经网络模型进行压缩处理，得到待部署的神经网络模型。

由于在建立初始神经网络模型时，所建立的神经网络模型与实际目标任务的神经网络模型之间可能有差别，而两者之间往往是有共同部分的，这样，可以将初始神经网络模型进行知识迁移，以提升目标任务的效果。传统方式对神经网络模型进行压缩处理时，都会涉及到模型压缩程度大小的人工设置，如网络层参数的比特数、网络层滤波器的裁剪程度等，为了避免人工设置对开发效率的影响，可以利用模型压缩自适应分析的方式，得到神经网络模型的压缩量，自适应的求解出针对某个具体压缩处理流程(选择某个预设压缩方式对初始神经网络模型进行压缩的处理流程)最合理的压缩程度大小分配方案，具体的分析方式可以是试凑的方式，试出来最合理的压缩量的方式，也可以是基于历史经验数据预先建立相应的映射关系。自适应的分析出压缩量后，即可按照该压缩量进行压缩处理。

可选的，预设压缩方式，可以包括：模型结构化压缩方式或模型定点压缩方式；模型压缩配置参数，可以包括：待部署平台类型。

则相应的，上述根据模型压缩配置参数，选择相应的预设压缩方式的步骤，具体可以为：

若待部署平台类型为ASIC平台或FPGA平台，则选择模型定点压缩方式。

上述按照压缩量，利用预设压缩方式，对待压缩神经网络模型进行压缩处理，得到待部署的神经网络模型的步骤，具体可以为：

按照压缩量，利用模型定点压缩方式，对待压缩神经网络模型进行压缩处理，得到待部署的神经网络模型。

对神经网络模型进行压缩处理的方式主要包括模型结构化压缩方式和模型定点压缩方式。模型结构化压缩方式就是将神经网络模型的结构进行裁剪、合并等处理得到结构更为简单的网络模型的压缩过程；模型定点压缩模型就是将浮点型的网络参数或者激活量进行定点化处理的压缩过程。不同的平台类型可以采用不同的压缩方式，如果待部署平台类型为ASIC平台或者FPGA平台，这些平台主要是对定点化数据进行处理，则压缩方式可以选择模型定点压缩方式，这样，模型既得到压缩，又能满足ASIC平台或者FPGA平台的定点化运算要求。

可选的，模型压缩配置参数，还可以包括：精度。

则相应的，上述根据模型压缩配置参数，选择相应的预设压缩方式的步骤，具体可以为：

若待部署平台类型为GPU平台、且精度高于预设阈值，则选择模型结构化压缩方式。

上述按照压缩量，利用预设压缩方式，对待压缩神经网络模型进行压缩处理，得到待部署的神经网络模型的步骤，具体可以为：

按照压缩量，利用模型结构化压缩方式，对待压缩神经网络模型进行压缩处理，得到待部署的神经网络模型。

针对于待部署平台为GPU平台，并且精度要求较高的情况，可以选择模型结构化压缩方式，这样，更有益于在GPU平台上运行。当然，在一些特殊的平台下，还可以同时进行模型结构化压缩和模型定点压缩，除此之外，还可以对神经网络模型进行模型稀疏压缩，具体哪些平台选用哪些压缩方式，不在这里一一列举，可以理解为依据待部署平台类型，来选择能够保证在平台上具有较高运行效率的压缩方式。

在得到待部署的神经网络模型之后，可以将该神经网络模型部署在自身电子设备上，以执行相应的目标任务，或者是发送至需要执行目标任务的设备端进行部署。

应用本实施例，获取目标任务的任务配置参数、训练资源的资源配置参数、模型设计配置参数以及模型压缩配置参数，基于任务配置参数、资源配置参数及模型设计配置参数，生成针对目标任务的初始神经网络模型，根据模型压缩配置参数，选择相应的预设压缩方式，对初始神经网络模型进行压缩处理，得到待部署的神经网络模型。通过获取神经网络模型确定过程中所需的配置参数，基于这些配置参数，经过生成初始神经网络模型、模型压缩的过程，最终可得到能够在设备端部署的神经网络模型，整个过程无需人工干预，大大降低了神经网络模型确定过程中的开发成本，提高了开发效率。

为了便于理解，下面结合确定神经网络模型的系统框架，对本申请实施例所提供的神经网络模型确定方法进行详细介绍。

如图2所示，为确定神经网络模型的系统框架示意图，整个系统框架大致操作流程为：

步骤一：获取目标任务的任务配置参数及训练资源的资源配置参数。

这里目标任务定义为神经网络模型的处理功能，具体来讲可以为目标检测任务、目标分类任务、目标跟踪任务等；训练资源定义为构建网络所需要的训练数据及算力资源(如GPU等)。该阶段主要确定系统需要处理的目标任务、需要的训练数据及算力资源。

步骤二：该阶段系统运行模型架构自动设计模块，该模块会基于步骤一所获取的任务配置参数、资源配置参数，自动设计出针对目标任务的合理的初始神经网络模型。

如图2所示，初始神经网络模型的自动设计通过两个子模块的串联处理来高效完成，模块级结构优化模块在小数据集上进行学习训练，主要目标是确定构建初始神经网络模型的网络层内部合理的组成方式，如可以确定网络层内部卷积的类型及不同卷积类型之间的连接方式等。该子模块可以根据模型设计配置参数来定义需要处理的搜索空间(网络层内部卷积的类型、不同卷积类型之间的连接方式等)及搜索策略(生物进化策略、增强学习策略等)。具体的过程见图1所示实施例，这里不再赘述。

系统级结构优化模块利用优化后的网络层内部结构模型，在大数据集上最终确定针对目标任务的初始神经网络模型，可以根据模型设计配置参数来定义需要处理的搜索空间(网络层之间的连接方式、网络层数等)及搜索策略(生物进化策略、增强学习策略等)。具体的过程见图1所示实施例，这里不再赘述。

通过该阶段的处理，最终可以得到针对某个目标任务合理的初始神经网络模型。

步骤三：该阶段运行模型自动压缩模块，针对上阶段输出的初始神经网络模型做自动化压缩处理，得到能够直接在设备端部署的神经网络模型。

模型自动化压缩模块内嵌五个子模块，分别为知识迁移子模块、模型结构化压缩子模块、模型稀疏压缩子模块、模型定点压缩子模块和模型压缩量自适应分析子模块。各个子模块可以进行相应的压缩处理，基于模型压缩配置参数(如设备端平台类型、精度要求、可利用资源等)，系统自适应选择合理的子模块的组合方式。如当设备端是一些通用的GPU平台且精度要求较高时，系统选择知识迁移加模型结构化压缩的处理方式；当设备是ASIC、FPGA平台时，系统选择知识迁移加模型定点压缩的处理方式。并且，具体的压缩过程的压缩量可以通过模型压缩量自适应分析子模块自适应的分析得到，避免了人工干预。

应用本实施例，通过获取神经网络模型确定过程中所需的配置参数，基于这些配置参数，经过生成初始神经网络模型、模型压缩的过程，最终可得到能够在设备端部署的神经网络模型，整个过程无需人工干预，大大降低了神经网络模型确定过程中的开发成本，提高了开发效率。

相应于上述方法实施例，本申请实施例提供了一种神经网络模型确定装置，如图3所示，该神经网络模型确定装置可以包括：

获取模块310，用于获取目标任务的任务配置参数、训练资源的资源配置参数、模型设计配置参数以及模型压缩配置参数；

生成模块320，用于基于所述任务配置参数、所述资源配置参数及所述模型设计配置参数，生成针对所述目标任务的初始神经网络模型；

压缩模块330，用于根据所述模型压缩配置参数，选择相应的预设压缩方式，对所述初始神经网络模型进行压缩处理，得到待部署的神经网络模型。

可选的，所述任务配置参数，可以包括：任务类型；所述资源配置参数，可以包括：训练数据以及算力资源；

所述生成模块320，具体可以用于：

根据所述模型设计配置参数，确定神经网络模型的搜索空间及搜索策略；

根据所述任务类型及所述算力资源，从所述搜索空间中，确定神经网络模型的各网络层内部初始结构及网络层间初始结构，并从所述搜索策略中，确定各网络层内部训练方式及网络层间训练方式；

从所有训练数据中提取预设数量的训练数据，组成小数据集；

根据各网络层内部初始结构，基于所述小数据集，采用对应的网络层内部训练方式，训练得到各网络层内部结构模型；

根据所述网络层间初始结构，连接各网络层内部结构模型，得到待训练神经网络模型；

根据所述待训练神经网络模型，基于大数据集，采用所述网络层间训练方式，训练得到初始神经网络模型，其中，所述大数据集包括所有训练数据。

可选的，所述压缩模块330，具体可以用于：

对所述初始神经网络模型进行知识迁移，得到待压缩神经网络模型；

根据所述模型压缩配置参数，选择相应的预设压缩方式；

根据所述预设压缩方式，对所述初始神经网络模型进行模型压缩自适应分析，得到压缩量；

按照所述压缩量，利用所述预设压缩方式，对所述待压缩神经网络模型进行压缩处理，得到待部署的神经网络模型。

可选的，所述预设压缩方式，可以包括：模型结构化压缩方式或模型定点压缩方式；

所述模型压缩配置参数，可以包括：待部署平台类型；

所述压缩模块330，具体可以用于：

若所述待部署平台类型为专用集成电路ASIC平台或现场可编程门阵列FPGA平台，则选择所述模型定点压缩方式；

按照所述压缩量，利用所述模型定点压缩方式，对所述待压缩神经网络模型进行压缩处理，得到待部署的神经网络模型。

可选的，所述模型压缩配置参数，还可以包括：精度；

所述压缩模块330，具体可以用于：

若所述待部署平台类型为图形处理器GPU平台、且所述精度高于预设阈值，则选择所述模型结构化压缩方式；

按照所述压缩量，利用所述模型结构化压缩方式，所述对所述待压缩神经网络模型进行压缩处理，得到待部署的神经网络模型。

应用本实施例，获取目标任务的任务配置参数、训练资源的资源配置参数、模型设计配置参数以及模型压缩配置参数，基于任务配置参数、资源配置参数及模型设计配置参数，生成针对目标任务的初始神经网络模型，根据模型压缩配置参数，选择相应的预设压缩方式，对初始神经网络模型进行压缩处理，得到待部署的神经网络模型。通过获取神经网络模型确定过程中所需的配置参数，基于这些配置参数，经过生成初始神经网络模型、模型压缩的过程，最终可得到能够在设备端部署的神经网络模型，整个过程无需人工干预，大大降低了神经网络模型确定过程中的开发成本，提高了开发效率。

为了提高神经网络模型确定过程中的开发效率，本申请实施例还提供了一种电子设备，如图4所示，包括处理器401和机器可读存储介质402，其中，

机器可读存储介质402，用于存储能够被处理器401执行的机器可执行指令；

处理器401，用于被机器可读存储介质402上所存放的机器可执行指令促使执行本申请实施例提供的神经网络模型确定方法的所有步骤。

机器可读存储介质402与处理器401之间可以通过有线连接或者无线连接的方式进行数据传输，并且电子设备可以通过有线通信接口或者无线通信接口与其他的设备进行通信，图4中只将通过总线连接作为一示例，并不是限定具体的连接方式。

上述机器可读存储介质可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，机器可读存储介质还可以是至少一个位于远离前述处理器的存储装置。

上述处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processor，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本实施例中，该电子设备的处理器通过读取机器可读存储介质中存储的机器可执行指令，并通过运行该机器可执行指令，能够实现：获取目标任务的任务配置参数、训练资源的资源配置参数、模型设计配置参数以及模型压缩配置参数，基于任务配置参数、资源配置参数及模型设计配置参数，生成针对目标任务的初始神经网络模型，根据模型压缩配置参数，选择相应的预设压缩方式，对初始神经网络模型进行压缩处理，得到待部署的神经网络模型。通过获取神经网络模型确定过程中所需的配置参数，基于这些配置参数，经过生成初始神经网络模型、模型压缩的过程，最终可得到能够在设备端部署的神经网络模型，整个过程无需人工干预，大大降低了神经网络模型确定过程中的开发成本，提高了开发效率。

另外，相应于上述实施例所提供的神经网络模型确定方法，本申请实施例提供了一种机器可读存储介质，用于存储机器可执行指令，所述机器可执行指令促使处理器执行本申请实施例提供的神经网络模型确定方法的所有步骤。

本实施例中，机器可读存储介质存储有在运行时执行本申请实施例所提供的神经网络模型确定方法的机器可执行指令，因此能够实现：获取目标任务的任务配置参数、训练资源的资源配置参数、模型设计配置参数以及模型压缩配置参数，基于任务配置参数、资源配置参数及模型设计配置参数，生成针对目标任务的初始神经网络模型，根据模型压缩配置参数，选择相应的预设压缩方式，对初始神经网络模型进行压缩处理，得到待部署的神经网络模型。通过获取神经网络模型确定过程中所需的配置参数，基于这些配置参数，经过生成初始神经网络模型、模型压缩的过程，最终可得到能够在设备端部署的神经网络模型，整个过程无需人工干预，大大降低了神经网络模型确定过程中的开发成本，提高了开发效率。

对于电子设备以及机器可读存储介质实施例而言，由于其所涉及的方法内容基本相似于前述的方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备以及机器可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (10)

1.一种神经网络模型确定方法，其特征在于，所述方法包括：

获取目标任务的任务配置参数、训练资源的资源配置参数、模型设计配置参数以及模型压缩配置参数；

基于所述任务配置参数、所述资源配置参数及所述模型设计配置参数，生成针对所述目标任务的初始神经网络模型；

根据所述模型压缩配置参数，选择相应的预设压缩方式，对所述初始神经网络模型进行压缩处理，得到待部署的神经网络模型。

2.根据权利要求1所述的方法，其特征在于，所述任务配置参数，包括：任务类型；所述资源配置参数，包括：训练数据以及算力资源；

所述基于所述任务配置参数、所述资源配置参数及所述模型设计配置参数，生成针对所述目标任务的初始神经网络模型，包括：

根据所述模型设计配置参数，确定神经网络模型的搜索空间及搜索策略；

根据所述任务类型及所述算力资源，从所述搜索空间中，确定神经网络模型的各网络层内部初始结构及网络层间初始结构，并从所述搜索策略中，确定各网络层内部训练方式及网络层间训练方式；

从所有训练数据中提取预设数量的训练数据，组成小数据集；

根据各网络层内部初始结构，基于所述小数据集，采用对应的网络层内部训练方式，训练得到各网络层内部结构模型；

根据所述网络层间初始结构，连接各网络层内部结构模型，得到待训练神经网络模型；

根据所述待训练神经网络模型，基于大数据集，采用所述网络层间训练方式，训练得到初始神经网络模型，其中，所述大数据集包括所有训练数据。

3.根据权利要求1所述的方法，其特征在于，所述根据所述模型压缩配置参数，选择相应的预设压缩方式，对所述初始神经网络模型进行压缩处理，得到待部署的神经网络模型，包括：

对所述初始神经网络模型进行知识迁移，得到待压缩神经网络模型；

根据所述模型压缩配置参数，选择相应的预设压缩方式；

根据所述预设压缩方式，对所述初始神经网络模型进行模型压缩自适应分析，得到压缩量；

按照所述压缩量，利用所述预设压缩方式，对所述待压缩神经网络模型进行压缩处理，得到待部署的神经网络模型。

4.根据权利要求3所述的方法，其特征在于，所述预设压缩方式，包括：模型结构化压缩方式或模型定点压缩方式；

所述模型压缩配置参数，包括：待部署平台类型；

所述根据所述模型压缩配置参数，选择相应的预设压缩方式，包括：

若所述待部署平台类型为专用集成电路ASIC平台或现场可编程门阵列FPGA平台，则选择所述模型定点压缩方式；

所述按照所述压缩量，利用所述预设压缩方式，对所述待压缩神经网络模型进行压缩处理，得到待部署的神经网络模型，包括：

按照所述压缩量，利用所述模型定点压缩方式，对所述待压缩神经网络模型进行压缩处理，得到待部署的神经网络模型。

5.根据权利要求4所述的方法，其特征在于，所述模型压缩配置参数，还包括：精度；

所述根据所述模型压缩配置参数，选择相应的预设压缩方式，包括：

若所述待部署平台类型为图形处理器GPU平台、且所述精度高于预设阈值，则选择所述模型结构化压缩方式；

所述按照所述压缩量，利用所述预设压缩方式，对所述待压缩神经网络模型进行压缩处理，得到待部署的神经网络模型，包括：

按照所述压缩量，利用所述模型结构化压缩方式，所述对所述待压缩神经网络模型进行压缩处理，得到待部署的神经网络模型。

6.一种神经网络模型确定装置，其特征在于，所述装置包括：

获取模块，用于获取目标任务的任务配置参数、训练资源的资源配置参数、模型设计配置参数以及模型压缩配置参数；

生成模块，用于基于所述任务配置参数、所述资源配置参数及所述模型设计配置参数，生成针对所述目标任务的初始神经网络模型；

压缩模块，用于根据所述模型压缩配置参数，选择相应的预设压缩方式，对所述初始神经网络模型进行压缩处理，得到待部署的神经网络模型。

7.根据权利要求6所述的装置，其特征在于，所述任务配置参数，包括：任务类型；所述资源配置参数，包括：训练数据以及算力资源；

所述生成模块，具体用于：

根据所述模型设计配置参数，确定神经网络模型的搜索空间及搜索策略；

根据所述任务类型及所述算力资源，从所述搜索空间中，确定神经网络模型的各网络层内部初始结构及网络层间初始结构，并从所述搜索策略中，确定各网络层内部训练方式及网络层间训练方式；

从所有训练数据中提取预设数量的训练数据，组成小数据集；

根据各网络层内部初始结构，基于所述小数据集，采用对应的网络层内部训练方式，训练得到各网络层内部结构模型；

根据所述网络层间初始结构，连接各网络层内部结构模型，得到待训练神经网络模型；

根据所述待训练神经网络模型，基于大数据集，采用所述网络层间训练方式，训练得到初始神经网络模型，其中，所述大数据集包括所有训练数据。

8.根据权利要求6所述的装置，其特征在于，所述压缩模块，具体用于：

对所述初始神经网络模型进行知识迁移，得到待压缩神经网络模型；

根据所述模型压缩配置参数，选择相应的预设压缩方式；

根据所述预设压缩方式，对所述初始神经网络模型进行模型压缩自适应分析，得到压缩量；

按照所述压缩量，利用所述预设压缩方式，对所述待压缩神经网络模型进行压缩处理，得到待部署的神经网络模型。

9.根据权利要求8所述的装置，其特征在于，所述预设压缩方式，包括：模型结构化压缩方式或模型定点压缩方式；

所述模型压缩配置参数，包括：待部署平台类型；

所述压缩模块，具体用于：

若所述待部署平台类型为专用集成电路ASIC平台或现场可编程门阵列FPGA平台，则选择所述模型定点压缩方式；

按照所述压缩量，利用所述模型定点压缩方式，对所述待压缩神经网络模型进行压缩处理，得到待部署的神经网络模型。

10.根据权利要求9所述的装置，其特征在于，所述模型压缩配置参数，还包括：精度；

所述压缩模块，具体用于：

若所述待部署平台类型为图形处理器GPU平台、且所述精度高于预设阈值，则选择所述模型结构化压缩方式；

按照所述压缩量，利用所述模型结构化压缩方式，所述对所述待压缩神经网络模型进行压缩处理，得到待部署的神经网络模型。

Images