CN109726805B

CN109726805B - 利用黑盒模拟器进行神经网络处理器设计的方法

Info

Publication number: CN109726805B
Application number: CN201711034124.1A
Authority: CN
Inventors: 不公告发明人
Original assignee: Shanghai Cambricon Information Technology Co Ltd
Current assignee: Shanghai Cambricon Information Technology Co Ltd
Priority date: 2017-10-30
Filing date: 2017-10-30
Publication date: 2021-02-09
Anticipated expiration: 2037-10-30
Also published as: CN109726805A

Abstract

本公开提供了一种利用黑盒模拟器进行神经网络处理器设计的方法，包括：选取至少一组合作为神经网络模型的输入，设定至少一处理器设计目标作为神经网络模型的输出；根据所述输入及输出训练神经网络模型；利用训练后的神经网络模型对不同的处理器进行预测，确定满足所述处理器设计目标的处理器。本公开还提供了一种神经网络处理器及一种芯片。本公开利用黑盒模拟器进行神经网络处理器设计的方法、神经网络处理器及芯片，能够快速有效的从不同设计参数组合和不同精确度的运算器组合中得到满足给定设计需求的最佳的设计结构。

Description

利用黑盒模拟器进行神经网络处理器设计的方法

技术领域

本公开涉及人工智能技术领域，尤其涉及一种利用黑盒模拟器进行神经网络处理器设计的方法。

背景技术

深度神经网络是目前许多人工智能应用的基础，其在语音识别、图像处理、数据分析、广告推荐系统、汽车自动驾驶等多方面得到了突破性的应用，使得深度神经网络被应用在了生活的各个方面。

然而深度神经网络的运算量巨大，运算时间过长，一直制约着其更快速的发展和更广泛的应用。于是，很多设计者开始研发针对深度神经网络的专用处理器。同时，很多深度神经网络算法被应用在了广泛的领域，而这些领域对结果的精度要求并不相同，很多无需非常高的精度。所以，在处理器的设计过程中，设计者面临在各种约束目标(如功耗、面积、可靠性等)下如何使所设计的处理器能够达到最佳的性能和满足精度要求的问题。

发明内容

(一)要解决的技术问题

为了解决或者至少部分缓解上述技术问题，本公开提供了一种利用黑盒模拟器进行神经网络处理器设计空间探索的方法。即，利用某种常用的算法，算法包括卷积神经网络、支持向量机、决策树等，来模拟采用不同或相同的精确度运算器(包括精确运算器和/或非精确运算器，例如精确乘法器、精确加法器、非精确乘法器、非精确加法器等)等时神经网络处理器的性能、准确度等数据，从而能够快速有效的从不同设计参数组合和不同精确度的运算器组合中得到满足给定设计需求的最佳的设计结构。

(二)技术方案

根据本公开的一个方面，提供了一种利用黑盒模拟器进行神经网络处理器设计的方法，包括：选取至少一组合作为神经网络模型的输入，设定至少一处理器设计目标作为神经网络模型的输出；根据所述输入及输出训练神经网络模型；以及利用训练后的神经网络模型对不同的处理器进行预测，确定满足所述处理器设计目标的处理器。

在一些实施例中，所述神经网络处理器设计为非精确神经网络处理器设计。

在一些实施例中，所述组合包括参数组合和/或运算器组合。

在一些实施例中，所述处理器设计目标包括以下至少其中之一：精度目标、功耗目标、速度目标及面积目标。

在一些实施例中，所述参数组合为处理器的设计参数组合，包括以下至少其中之一：用于片上存储的规模及位宽、数据传输的带宽及主频。

在一些实施例中，所述运算器组合包括乘法器和/或加法器的组合。

在一些实施例中，在所述选取至少一组合作为神经网络模型的输入的步骤之前，还包括：选定一算法及其配置，并进行初始化。

在一些实施例中，所述配置包括预定误差阈值、预定迭代次数阈值；所述初始化包括权值、偏移量参数初始化。

在一些实施例中，所述算法包括卷积神经网络、支持向量机、决策树。

在一些实施例中，所述根据所述输入及输出训练神经网络模型的步骤，包括：训练神经网络模型，得到预测输出；计算预测输出和真实输出之间的误差，并与一预定误差阈值进行比较；若预测输出和真实输出之间的误差小于或等于预定误差阈值，则结束对神经网络模型的训练；否则重复训练神经网络模型，直至迭代次数达到一预定迭代次数阈值。

在一些实施例中，所述选取至少一组合作为神经网络模型的输入的步骤，包括：从所述运算器组合中选取M种不同精度或相同的乘法器、N种不同或相同精度的加法器，M,N为正整数，分别对应所述处理器中运算部分的各个运算器m1,m2,m3,m4至mM，a1,a2,a3至aN；对这些运算器进行编码并归一化，分别表示为Vm1,Vm2,Vm3,Vm4至VmM,Va1,Va2,Va3至VaN，作为模拟器的输入数据。

在一些实施例中，所述处理器设计目标为分离的输出或以通过加权方式进行组合。

在一些实施例中，利用训练后的神经网络模型对不同的处理器进行预测，确定满足所述处理器设计目标的处理器的步骤为利用训练后的神经网络模型对不同的参数组合和运算器组合的处理器进行预测，确定满足所述处理器设计目标的参数组合和运算器的处理器。

根据本公开的另一个方面，还提供了一种神经网络处理器，包括存储单元和处理单元，其中，所述存储单元存储所述的方法，所述处理单元执行所述的方法。

根据本公开的另一个方面，还提供了一种芯片，其包括了所述的神经网络处理器。

(三)有益效果

从上述技术方案可以看出，本公开利用黑盒模拟器进行神经网络处理器设计空间探索的方法至少具有以下有益效果其中之一：

本公开利用黑盒模拟器进行神经网络处理器设计空间探索的方法，利用常用的算法来模拟采用不同或相同的精确度的精确运算器和非精确运算器(包括精确乘法器、精确加法器、非精确乘法器、非精确加法器等)时神经网络处理器的性能、准确度等数据，从而能够快速有效的从不同设计参数组合和不同精确度的运算器组合中得到满足给定设计需求的最佳的设计结构。

附图说明

图1是本公开实施例精确的全加器与非精确全加器的结构对比示意图。

图2是本公开实施例利用黑盒模拟器进行神经网络处理器设计空间探索的方法流程图。

图3是本公开实施例利用黑盒模拟器进行神经网络处理器设计空间探索的方法另一流程图。

图4是本公开实施例运算器组合功能模块图。

图5是本公开实施例利用黑盒模拟器进行神经网络处理器设计空间探索的方法另一流程图。

图6是本公开实施例利用黑盒模拟器进行神经网络处理器设计空间探索的框图。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开作进一步的详细说明。

需要说明的是，在附图或说明书描述中，相似或相同的部分都使用相同的图号。附图中未绘示或描述的实现方式，为所属技术领域中普通技术人员所知的形式。另外，虽然本文可提供包含特定值的参数的示范，但应了解，参数无需确切等于相应的值，而是可在可接受的误差容限或设计约束内近似于相应的值。此外，以下实施例中提到的方向用语，例如“上”、“下”、“前”、“后”、“左”、“右”等，仅是参考附图的方向。因此，使用的方向用语是用来说明并非用来限制本公开。

本公开提供一种利用黑盒模拟器进行神经网络处理器的设计(也即设计空间探索(design space exploration)，指在各种约束目标下实现所设计的处理器性能最佳；为了实现该设计目标，需要考虑各种不同设计参数组合空间与运算器组合空间对处理器性能及相应约束目标的影响，通过调整这些组合以得到最佳的设计结构，这就是本公开处理器的设计空间探索问题)的方法，包括精确和/或非精确神经网络处理器的设计空间探索；即，利用某种常用的算法，该算法包括卷积神经网络、支持向量机、决策树等，可选的为卷积神经网络，来模拟采用不同或相同的精确度的运算器，例如采用精确运算器和非精确运算器时神经网络处理器的性能、准确度等数据，从而能够快速有效的从不同设计参数组合空间和不同精确度的运算器组合空间中选取得到满足给定设计需求的最佳的设计结构。其中，所述的参数组合空间为处理器的设计参数，包括用于片上存储的规模及位宽、数据传输的带宽、主频等；所述不同精确度的运算器组合空间包括精确运算器和/或非精确运算器，如精确乘法器、精确加法器、非精确乘法器、非精确加法器等。

如图1所示，其中图1中(a)为一种精确的全加器的实现方式，图1中(b)为一种非精确全加器的实现方式，该实现方式会对精度带来一定的损失，但是也因为减少了部分数字逻辑器件，大大降低了整体功耗。

具体的，本公开一种利用黑盒模拟器进行神经网络处理器设计的方法，包括：

选取至少一组合作为神经网络模型的输入，设定至少一处理器设计目标作为神经网络模型的输出；

根据所述输入及输出训练神经网络模型；以及

利用训练后的神经网络模型对不同的处理器进行预测，确定满足所述处理器设计目标的处理器。

其中，所述组合包括参数组合和/或运算器组合。

本公开中的组合、空间、组合空间表示相同的含义；运算器组合空间是指以运算器为元素的集合，其中包括不同精确度的加法器、不同精确度的乘法器等运算器。参数组合空间指以设计参数为元素的集合，包括面积约束、功耗约束等。各组合可以包括一种或多种元素，每种元素可采用任意数量。

具体而言，如图2所示，本公开利用黑盒模拟器进行神经网络处理器设计空间探索的方法，包括：

S1，选定一算法及其配置，并将相关参数初始化；其中，所述配置包括预定误差阈值、预定迭代次数阈值等；所述参数包括权值、偏移量等；

S2，从参数组合空间和运算器组合空间中选取所需设计参数和所需运算器(选取设计组合)作为神经网络的输入层，选取一个或多个处理器设计目标(特定的处理器需求)作为神经网络模型的输出；

S3，训练神经网络模型，得到预测输出；

S4，计算预测输出和真实输出之间的误差，并与一预定误差阈值进行比较；若计算预测输出和真实输出之间的误差小于或等于预定误差阈值(规定的误差值)，则进入步骤S6，否则进入步骤S5；

S5，确定迭代次数，并与一预定迭代次数阈值进行比较；若大于或等于所述预定迭代次数阈值(规定的最大迭代次数)，则进入步骤S6，否则返回步骤S3，继续对神经网络模型进行训练；

S6，采用训练好的预测模型对不同的运算器组合空间和设计参数组合空间进行预测，确定满足所述处理器需求的处理器架构(处理器设计参数组合、运算器组合)作为最终结果。

其中，所述处理器设计目标包括以下至少其中之一：精度目标、功耗目标、速度目标、面积目标等。所述输入数据可以是给定的参数数值，也可以是编码后的参数(如输入运算器时输入的是对运算器进行编码后的数据，而不是运算器本身)。

进一步说明如下：选定一种算法及其配置，并将相关参数初始化。而后，在整个设计参数组合空间和运算器组合空间(包含精确的运算器、非精确的运算器、或两者)中，以一定方式在两个组合空间中的至少一个空间里选取少量的设计组合作为神经网络的输入层，特定的处理器需求作为神经网络模型的输出。这里的处理器需求可以为分离的输出，也可以通过加权等方式进行组合。之后，训练神经网络模型，得到预测输出。计算预测输出和真实输出之间的误差，如果误差不大于规定的误差值，那么结束对神经网络模型的训练，否则重复训练神经网络模型，直到达到规定的最大迭代次数为止。最后，用训练好的预测模型去预测不同的运算器组合(可选的，还包括设计参数组合空间)，选择出满足给定要求的处理器架构(处理器设计参数组合、运算器组合)作为最终结果。

在一具体实施例中，给定处理器的运算部分的结构，为了方便说明，不妨假定为如图4所示，其包含4个乘法器，即m1,m2,m3,m4；和3个加法器，即a1,a2,a3。给出处理器设计目标：最低的精度值70％(即处理器的整体精度不能低于该给定的精度)，选用不同的运算器(包括精确运算器、非精确运算器)使得处理器整体功耗最低。

如图3所示，首先，选定一种神经网络模型，不妨假定为LeNet-5网络模型，定义其最大迭代次数为10000次，最大误差值为1.8，更新权值的方式为“动量更新”法。初始化该模型的权值和偏移量等参数。

然后，从运算器组合空间(包括精确运算器、非精确运算器、或两者)中选取M种不同精度或相同的乘法器、N种不同或相同精度的加法器(M,N为正整数，可以相同，也可以不同)，分别对应该处理器中运算部分的各个运算器m1,m2,m3,m4,a1,a2,a3。而后对这些运算器进行编码并归一化，表示为Vm1,Vm2,Vm3,Vm4,Va1,Va2,Va3(M取4，N取3时)，作为黑盒模拟器的输入数据(如图6所示)。同时将对应的精度作为真实输出值。

之后，将这些处理器中的各运算器作为神经网络输入层的数据，输入到神经网络模型中，进行训练。得到输出结果，和真实输出值进行比较，如果误差不大于规定的误差值，那么结束对神经网络模型的训练，否则重复训练神经网络模型，直到达到规定的最大迭代次数为止。

最后，用训练好的神经网络模型去预测不同的非精确运算组合器组合，选择出满足精度要求的且功耗最低的处理器架构作为最终结果。

在一个具体实施例里，本实施例的处理器设计目标为：给出处理器要求最低的精度值80％，选用不同的非精确运算器，通过黑盒模拟的方式模拟，使得得到的处理器的整体性能最好，即运算速度最快。

如图5所示，首先，选定一种神经网络模型，不妨假定为LeNet-5网络模型，定义其最大迭代次数为10000次，最大误差值为1.8，更新权值的方式为“动量更新”法。初始化该模型的权值和偏移量等参数。

然后，从运算器组合空间中选取M种不同精度或相同的乘法器、N种不同或相同精度的加法器(M,N为正整数，可以相同，也可以不同)；从设计参数组合空间中选取多个设计参数，如存储空间大小，访存带宽等。将运算器的类型和设计参数进行编码，并归一化，作为输入数据。同时将对应的精度作为真实输出值。

之后，将上面的输入数据作为神经网络输入层，输入到神经网络模型中，进行训练。得到输出结果，和真实输出值进行比较，如果误差不大于规定的误差值，那么结束对神经网络模型的训练，否则重复训练神经网络模型，直到达到规定的最大迭代次数为止。

最后，用训练好的神经网络模型去预测不同的非精确运算组合器组合和设计参数组合，选择出满足精度要求的且性能最好的处理器架构作为最终结果。

在一个实施例里，本公开提供了一神经网络处理器，包括存储单元和处理单元，其中，所述存储单元存储上述方法步骤，所述处理单元执行上述方法步骤。

在一个实施例里，本公开提供了一芯片，其包括了上述神经网络处理器。

在一个实施例里，本公开提供了一芯片封装结构，其包括了上述芯片。

在一个实施例里，本公开提供了一板卡，其包括了上述芯片封装结构。

在一个实施例里，本公开提供了一电子装置，其包括了上述板卡。电子装置包括数据处理装置、机器人、电脑、打印机、扫描仪、平板电脑、智能终端、手机、行车记录仪、导航仪、传感器、摄像头、云端服务器、相机、摄像机、投影仪、手表、耳机、移动存储、可穿戴设备交通工具、家用电器、和/或医疗设备。所述交通工具包括飞机、轮船和/或车辆；所述家用电器包括电视、空调、微波炉、冰箱、电饭煲、加湿器、洗衣机、电灯、燃气灶、油烟机；所述医疗设备包括核磁共振仪、B超仪和/或心电图仪。

本公开中，所述存储元件可以是任何适当的磁存储介质或者磁光存储介质，比如RRAM，DRAM，SRAM，EDRAM，HBM，HMC等等。

另外，本公开神经网络可以是卷积神经网络，还可以是全连接神经网络、RBM神经网络、及循环神经网络(RNN,Recurrent Neural Networks)等。

以上所述的具体实施例，对本公开的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本公开的具体实施例而已，并不用于限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims

1.一种利用黑盒模拟器进行神经网络处理器设计的方法，包括：

根据所述输入及输出训练神经网络模型；以及

利用训练后的神经网络模型对不同的处理器进行预测，确定满足所述处理器设计目标的处理器；

其中，所述组合包括参数组合和/或运算器组合；

所述参数组合为处理器的设计参数组合。

2.根据权利要求1所述的利用黑盒模拟器进行神经网络处理器设计的方法，其中，所述处理器设计目标包括以下至少其中之一：精度目标、功耗目标、速度目标及面积目标。

3.根据权利要求1所述的利用黑盒模拟器进行神经网络处理器设计的方法，其中，所述处理器的设计参数组合包括以下至少其中之一：用于片上存储的规模及位宽、数据传输的带宽及主频。

4.根据权利要求1所述的利用黑盒模拟器进行神经网络处理器设计的方法，其中，所述运算器组合包括乘法器和/或加法器的组合。

5.根据权利要求1所述的利用黑盒模拟器进行神经网络处理器设计的方法，其中，在所述选取至少一组合作为神经网络模型的输入的步骤之前，还包括：选定一算法及其配置，并进行初始化。

6.根据权利要求5所述的利用黑盒模拟器进行神经网络处理器设计的方法，其中，所述配置包括预定误差阈值、预定迭代次数阈值；所述初始化包括权值、偏移量参数初始化。

7.根据权利要求5所述的利用黑盒模拟器进行神经网络处理器设计的方法，其中，所述算法包括卷积神经网络、支持向量机、决策树。

8.根据权利要求1所述的利用黑盒模拟器进行神经网络处理器设计的方法，其中，所述根据所述输入及输出训练神经网络模型的步骤，包括：

训练神经网络模型，得到预测输出；

计算预测输出和真实输出之间的误差，并与一预定误差阈值进行比较；

若预测输出和真实输出之间的误差小于或等于预定误差阈值，则结束对神经网络模型的训练；否则重复训练神经网络模型，直至迭代次数达到一预定迭代次数阈值。

9.根据权利要求4所述的利用黑盒模拟器进行神经网络处理器设计的方法，其中，所述选取至少一组合作为神经网络模型的输入的步骤，包括：

从所述运算器组合中选取M种不同精度或相同的乘法器、N种不同或相同精度的加法器，M, N为正整数，分别对应所述处理器中运算部分的各个运算器m1,m2,m3,m4至mM,a1,a2,a3至aN；

对这些运算器进行编码并归一化，分别表示为Vm1,Vm2,Vm3,Vm4至VmM,Va1,Va2,Va3至VaN，作为模拟器的输入数据。

10.根据权利要求1所述的利用黑盒模拟器进行神经网络处理器设计的方法，其中，所述处理器设计目标为分离的输出或以通过加权方式进行组合。

11.根据权利要求1所述的利用黑盒模拟器进行神经网络处理器设计的方法，其中，利用训练后的神经网络模型对不同的处理器进行预测，确定满足所述处理器设计目标的处理器的步骤为利用训练后的神经网络模型对不同的参数组合和运算器组合的处理器进行预测，确定满足所述处理器设计目标的参数组合和运算器的处理器。

12.一种神经网络处理器，包括存储单元和处理单元，其中，所述存储单元存储如权利要求1至11中任一项所述的方法，所述处理单元执行如权利要求1至11中任一项所述的方法。

13.一种芯片，其包括了如权利要求12所述的神经网络处理器。