CN110162403A

CN110162403A - 一种基于人工神经网络的硬件资源分配方法及系统

Info

Publication number: CN110162403A
Application number: CN201910449695.4A
Authority: CN
Inventors: 王晶; 王旭; 张伟功; 傅昕
Original assignee: Capital Normal University
Current assignee: Capital Normal University
Priority date: 2019-05-28
Filing date: 2019-05-28
Publication date: 2019-08-23
Anticipated expiration: 2039-05-28
Also published as: CN110162403B

Abstract

本发明公开一种基于人工神经网络的硬件资源分配方法及系统。所述分配方法具体包括：建立人工神经网络，所述人工神经网络包括多层感知器、卷积神经网络、循环神经网络；根据用户的需求选择神经网络中的近似元素；根据所述近似元素确定近似神经网络；采集所述用户和所述近似神经网络的性能目标值；根据所述近似神经网络和所述性能目标值分配硬件资源。采用人工神经网络和近似算法相结合的计算方法，在保证输出质量满足需求的条件下，提高了能源的利用率的同时，提高了系统运行的稳定性。

Description

一种基于人工神经网络的硬件资源分配方法及系统

技术领域

本发明涉及人工神经网络领域，特别是涉及一种基于人工神经网络的硬件资源分配方法及系统。

背景技术

伴随人工神经网络的兴起，大规模乃至超大规模的神经网络得到了重要的发展，因为能源消费的剧增，未来能源将成为计算机相关领域的发展的重要阻碍之一。所以节能成为主要的关注点，对于大规模的神经网络来说，有效的节约能耗是非常重要的。

现有技术中的节能方法采用关闭/休眠技术，最大限度的降低空闲能耗，但是当使用计算机时需要较长的启动时间，导致系统的性能下降。采用电压动态调整技术，通过降低处理器的电压能够降低处理器的动态功率，但是存在的缺点是随着电压的下降，处理器的性能也下降。

发明内容

本发明的目的是提供一种能够提高处理器性能稳定性的基于人工神经网络的硬件资源分配方法及系统。

为实现上述目的，本发明提供了如下方案：

一种基于人工神经网络的硬件资源分配方法，所述分配方法具体包括：

建立人工神经网络，所述人工神经网络包括多层感知器、卷积神经网络、循环神经网络；

根据用户的需求选择神经网络中的近似元素；

根据所述近似元素确定近似神经网络；

采集所述用户和所述近似神经网络的性能目标值；

根据所述近似神经网络和所述性能目标值分配硬件资源。

可选的，所述根据所述近似元素确定近似神经网络具体包括：

根据所述近似元素确定多个近似算法；

建立基于多个所述近似算法的输出质量参考模型；

根据所述输出质量参考模型确定近似分配策略和优化方法，获得近似神经网络。

可选的，所述近似算法包括：尾数截断、近似逻辑电路化简、循环穿孔、内存访问跳跃、电压扩缩。

可选的，所述根据所述输出质量参考模型确定近似分配策略和优化方法具体包括：

将所述人工神经网络分割为多个神经元；

将所述人工神经网络的输出错误量化到每个所述神经元；

获取输出错误量小于错误量阈值的所述神经元，获得错误神经元；

将所述错误神经元采用所述输出质量参考模型计算近似值；

根据所述近似值确定近似分配策略和优化方法。

一种基于人工神经网络的硬件资源分配系统，所述分配系统具体包括：

人工神经网络模块，用于建立人工神经网络，所述人工神经网络包括多层感知器、卷积神经网络、循环神经网络；

近似元素选择模块，用于根据用户的需求选择神经网络中的近似元素；

近似神经网络确定模块，用于根据所述近似元素确定近似神经网络；

性能目标值采集模块，用于采集所述用户和所述近似神经网络的性能目标值；

资源分配模块，用于根据所述近似神经网络和所述性能目标值分配硬件资源。

可选的，所述近似神经网络确定模块具体包括：

近似算法确定单元，用于根据所述近似元素确定多个近似算法；

参考模型建立单元，用于建立基于多个所述近似算法的输出质量参考模型；

分配策略优化单元，用于根据所述输出质量参考模型确定近似分配策略和优化方法，获得近似神经网络。

可选的，所述近似算法确定单元包括：尾数截断子单元、近似逻辑电路化简子单元、循环穿孔子单元、内存访问跳跃子单元、电压扩缩子单元。

可选的，所述分配策略优化单元具体包括：

神经网络分割子单元，用于将所述人工神经网络分割为多个神经元；

错误量化子单元，用于将所述人工神经网络的输出错误量化到每个所述神经元；

错误神经元获取子单元，用于获取输出错误量小于错误量阈值的所述神经元，获得错误神经元；

近似值计算子单元，用于将所述错误神经元采用所述输出质量参考模型计算近似值；

分配策略确定子单元，用于根据所述近似值确定近似分配策略和优化方法。

根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供了一种基于人工神经网络的硬件资源分配方法及系统。所述分配方法采用人工神经网络和近似算法相结合的计算方法，在保证输出质量满足需求的条件下，提高了能源的利用率的同时，提高了系统运行的稳定性。解决了人工神经网络规模不断扩大的过程中的运行能耗问题和芯片设计与工艺复杂度提高导致的芯片不均匀错误导致的实际硬件电路的能耗增加的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的基于人工神经网络的硬件资源分配方法的流程图；

图2为本发明提供的基于人工神经网络的硬件资源分配系统的组成框图；

图3为本发明提供的近似算法的人工神经网络简化的结构图；

图4为本发明提供的反向传播算法图；

图5为本发明提供的可近似浮点算数标准的原理图；

图6为本发明提供的模拟退火探索最优解的原理图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明提供了一种基于人工神经网络的硬件资源分配方法，所述分配方法具体包括：

步骤100：建立人工神经网络，所述人工神经网络包括多层感知器、卷积神经网络、循环神经网络；

步骤200：根据用户的需求选择神经网络中的近似元素；

步骤300：根据所述近似元素确定近似神经网络，所述近似神经网络的结构如图3所示；

步骤400：采集所述用户和所述近似神经网络的性能目标值；

步骤500：根据所述近似神经网络和所述性能目标值分配硬件资源。

所述步骤300：根据所述近似元素确定近似神经网络具体包括：

根据所述近似元素确定多个近似算法；

建立基于多个所述近似算法的输出质量参考模型；

所述近似算法包括：尾数截断、近似逻辑电路化简、循环穿孔、内存访问跳跃、电压扩缩。

所述根据所述输出质量参考模型确定近似分配策略和优化方法具体包括：

将所述人工神经网络分割为多个神经元；

将所述人工神经网络的输出错误量化到每个所述神经元；

将所述错误神经元采用所述输出质量参考模型计算近似值；

根据所述近似值确定近似分配策略和优化方法。

如图2所示，本发明还提供了一种基于人工神经网络的硬件资源分配系统，所述分配系统具体包括：

人工神经网络模块1，用于建立人工神经网络，所述人工神经网络包括多层感知器、卷积神经网络、循环神经网络；

近似元素选择模块2，用于根据用户的需求选择神经网络中的近似元素；

近似神经网络确定模块3，用于根据所述近似元素确定近似神经网络；

性能目标值采集模块4，用于采集所述用户和所述近似神经网络的性能目标值；

资源分配模块5，用于根据所述近似神经网络和所述性能目标值分配硬件资源。

所述近似神经网络确定模块3具体包括：

所述近似算法确定单元包括：尾数截断子单元、近似逻辑电路化简子单元、循环穿孔子单元、内存访问跳跃子单元、电压扩缩子单元。

所述分配策略优化单元具体包括：

神经网络的容错量化，无差别的在神经网络中引入近似计算会造成网络输出质量的下降。

将神经元分为两类，具体为：敏感型神经元和容错型神经元。

近似算法通过放松对神经网络100％计算精度要求，缓解了神经网络能耗开销问题。不同神经网络的结构存在差异，近似计算方法对网络质量的影响也不同，对用户而言对网络的质量需求也存在差异。为了应对上述问题，实现动态调节近似神经网络配置，达到性能、能耗、输出质量多目标优化，本发明的近似算法的人工神经网络简化的结构图如图1所示，首先需要将输出错误量化到每个神经元，其次对输出错误影响小的网络进行近似，然后使用优化方法，进一步增强近似程度，最后根据用户或程序的需求进行近似网络输出质量判断，如果满足要求即可输出神经网络，如果不满足则迭代的降低近似程度，使达到要求。

如图4所示，反向传播算法，反向传播算法的学习过程由正向传播过程和反向传播过程组成，在正向传播过程中，输入信息通过输入层经过隐含层，逐层处理并传向输出层，判断所述输出层的输出值是否为期望值，如果是，输出层的输出为输出值，否则，将输出值和期望的误差的平方和作为目标函数，转入反向传播，逐层求出目标函数对神经元权值的偏导数，构成目标函数对权值向量的梯量。

如图5所示，32位浮点数值的表示方式。IEEE二进制浮点数算术标准(IEEE 754)是20世纪80年代以来最广泛使用的浮点数运算标准，为许多CPU与浮点运算器所采用。IEEE754标准将数据分成了三个部分：符号位、指数域和尾数域。其中，指数域在运算时更多的会影响结果的正确性，尾数域更多的会影响计算结果的精度。不同用户对计算结果的精度需求往往不同。根据不同的计算精度需求，我们可以将尾数域分成两个部分：精确部分和非精确部分。精确部分表示该尾数域在计算过程中很重要，其不精确的计算会影响输出结果的精度，造成用户满意度下降，反之非精确部分对用户满意度的影响很小，可以对其进行近似。与此同时，内存访问、数据转移、数值计算等在计算时间和能耗上开销很大。不同的位精度对网络精确度、内存占用、能耗都有影响。所以尾数截断可以通过减少位精度达到提高计算能效性的目的。

如图6所示，硬件资源分配系统，该硬件资源分配系统主要分成三个部分：目标模型、调度控制和硬件配置模块。第一步，输入给目标模型的是用户对神经网络能耗、性能、质量的需求阈值和神经网络的容错特性。第二步，根据上述的参数，目标模型进行预估，选择一个实际的硬件配置方案，并运行神经网络。第三步，在网络运行过程中，采集网络的实际能耗、性能和输出质量，并和初始的需求阈值做比较。若满足用户需求，则可以直接进行后续的工作，若不满足需求，需要将输出参数反馈给调度控制模块，对网络的硬件配置进行调整。第四步，重复步骤三，直到神经网络的各项指标满足用户需求阈值，即可退出循环，继续进行后续操作。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种基于人工神经网络的硬件资源分配方法，其特征在于，所述分配方法具体包括：

根据用户的需求选择神经网络中的近似元素；

根据所述近似元素确定近似神经网络；

采集所述用户和所述近似神经网络的性能目标值；

根据所述近似神经网络和所述性能目标值分配硬件资源。

2.根据权利要求1所述的一种基于人工神经网络的硬件资源分配方法，其特征在于，所述根据所述近似元素确定近似神经网络具体包括：

根据所述近似元素确定多个近似算法；

建立基于多个所述近似算法的输出质量参考模型；

3.根据权利要求2所述的一种基于人工神经网络的硬件资源分配方法，其特征在于，所述近似算法包括：尾数截断、近似逻辑电路化简、循环穿孔、内存访问跳跃、电压扩缩。

4.根据权利要求2所述的一种基于人工神经网络的硬件资源分配方法，其特征在于，所述根据所述输出质量参考模型确定近似分配策略和优化方法具体包括：

将所述人工神经网络分割为多个神经元；

将所述人工神经网络的输出错误量化到每个所述神经元；

将所述错误神经元采用所述输出质量参考模型计算近似值；

根据所述近似值确定近似分配策略和优化方法。

5.一种基于人工神经网络的硬件资源分配系统，其特征在于，所述分配系统具体包括：

6.根据权利要求5所述的一种基于人工神经网络的硬件资源分配系统，其特征在于，所述近似神经网络确定模块具体包括：

7.根据权利要求6所述的一种基于人工神经网络的硬件资源分配系统，其特征在于，所述近似算法确定单元包括：尾数截断子单元、近似逻辑电路化简子单元、循环穿孔子单元、内存访问跳跃子单元、电压扩缩子单元。

8.根据权利要求6所述的一种基于人工神经网络的硬件资源分配系统，其特征在于，所述分配策略优化单元具体包括：