CN105224986A - 基于忆阻器件的深度神经网络系统 - Google Patents

Abstract

本发明提供一种基于忆阻器件的深度神经网络系统，包括输入层、输出层以及多个隐含层。所述输入层接收外部信息输入模式，该外部信息输入模式经过逐层计算转换，最终由输出层产生外部输出结果。所述深度神经网络的突触权重采用忆阻器件模拟，利用忆阻器件的电阻随着施加电信号进行改变的特性模拟神经网络间连接突触连接强弱的行为。本发明进一步提供一种包含基于忆阻器件的深度神经网络系统的信息处理系统。

Description

基于忆阻器件的深度神经网络系统

技术领域

本发明涉及一种深度神经网络系统。

背景技术

2006年，加拿大多伦多大学教授GeoffreyHinton在《科学》上发表论文“ReducingtheDimensionalityofDatawithNeuralNetworks”，从此掀起了以深度神经网络为主的人工神经网络研究新浪潮。深度神经网络(DeepNeuralNetworks,DNN)有别于传统的人工神经网络，主要借鉴生物神经网络具有多层拓扑结构的特征，人为构建具有多个隐含层的人工神经网络。由于结合了“逐层预训练”这种贪婪无监督算法和全局调整算法，这种多层神经网络相对容易收敛。与浅层神经网络模型相比，深度神经网络具有突出的特征学习能力，学习得到的特征能够对数据进行更本质的表达，从而更有利于后端分类和识别处理。因此，深度神经网络使得计算机在图像、视频、语音等信息处理应用方面的性能得到了极大地提高。虽然深度神经网络在性能上具有明显的优势，但在实际应中依然较难推广。主要原因在于现有的人工神经网络研究基本是在计算机软件中仿真实现的，其软件模型虽然是分布式和并行的，但其硬件执行依然束缚于冯·诺依曼计算范式，最终实现的硬件开销、能耗和信息处理速度不容乐观。即便是利用最先进的大体积超级计算机，也不能实现人脑规模的实时模拟与大脑计算的超低能耗。

图1为传统基于计算机软件的人工神经网络计算原理示意图。前端突触输入信号X_N经过对应的突触连接权重W_Ni，完成相应的权重乘法操作并进入神经元节点，该神经元节点完成对前端突触输入信号X_N的累加，并经过非线性变换f(·)产生输出信号Y_i并发送至后端突触网络，整个计算过程等效于Y_i＝f(∑_kX_iW_ki+b_i)。上述计算过程在传统人工神经网络中基于冯·诺依曼计算机串行范式，导致各种尺寸、能耗、时间等开销巨大，很难在嵌入式领域应用。

发明内容

有鉴于此，确有必要提供一种运算速度更快且能耗更低的深度神经网络系统。

一种基于忆阻器件的深度神经网络系统，包括：输入层、输出层以及多个隐含层；所述输入层接收外部信息输入模式，并将该输入模式送入所述多个隐含层，所述多个隐含层对来自输入层的输入模式进行逐层计算转换，并将计算结果发送至所述输出层，所述输出层接收所述隐含层的计算结果，并将其作为输出结果对外输出，相邻两层的神经元节点通过突触权重网络连接；所述深度神经网络系统的突触权重采用忆阻器件模拟，所述忆阻器件的电阻随着施加电信号进行改变。

一种信息处理系统，包括：基于忆阻器件的深度神经网络系统、计算模块、驱动电路、输出结果比对模块、输入信息接口以及输出信息接口；所述输入信息接口用于将外界信息输入模式转换为所述深度神经网络系统所需的信号；所述深度神经网络系统的输入端连接所述输入信息接口，输出端连接所述输出信息接口，所述深度神经网络系统用于进行深度神经网络运算，并将运算结果作为输出结果发送至所述输入信息接口；所述输出信息接口分别连接所述深度神经网络系统与所述输出结果比对模块，用于将所述深度神经网络系统产生的输出信号转换并发送给所述输出结果比对模块；所述输出结果比对模块分别连接所述输出信息接口与所述计算模块，所述输出结果比对模块将当前深度神经网络系统的输出结果与理想结果进行比对，并将比对结果发送之所述计算模块；所述计算模块分别连接所述输出结果比对模块与所述驱动电路，所述计算模块接受所述输出结果比对模块发送的误差信号，根据设定的神经网络训练算法计算网络连接权重调整量并发送至驱动电路；所述驱动电路接收所述计算模块发送的网络连接权重调整量，并根据该网络连接权重调整量控制所述忆阻器件的电阻值。

与现有技术相比，本发明提供的基于忆阻器件的深度神经网络系统采用忆阻器件实现深度神经网络运算，整个系统的运算速度与密度均有很大提高，运行能耗则大幅降低，有望实现对大脑规模神经网络的实时与低能耗模拟。

附图说明

图1为现有基于计算机软件的人工神经网络计算原理示意图。

图2为本发明实施例提供的基于忆阻器件的深度神经网络拓扑结构图。

图3为基于忆阻器件的深度神经网络计算原理示意图。

图4为本发明实施例中忆阻器件调制示意图。

图5为本发明实施例基于忆阻器件的深度神经网络系统。

主要元件符号说明

信息处理系统	100
		深度神经网络系统	10
输入层	11
		隐含层	12
输出层	13
		输入模式	14
输出结果	15
		神经元节点	16
突触权重网络	17
		忆阻器件	18
脉冲调制电路	180
		输入信息接口	20
输出信息接口	30
		输出结果比对模块	40
计算模块	50
		驱动电路	60
脉冲发生器	61
		读写电路	62

如下具体实施方式将结合上述附图进一步说明本发明。

具体实施方式

下面将结合附图及具体实施例对本发明提供的基于忆阻器件的深度神经网络系统作进一步的详细说明。

请参见图2，本发明实施例提供一种基于忆阻器件的深度神经网络系统10，包括：输入层11、多个隐含层12以及输出层13。所述输入层11与所述多个隐含层12连接，所述输入层11接收外部信息输入模式14，并将该输入模式14送入所述多个隐含层12。所述多个隐含层12分别与所述输入层11、输出层13连接，所述多个隐含层12对来自输入层11的输入模式14进行逐层计算转换，并将计算结果发送至所述输出层13。所述输出层13接收所述隐含层12的计算结果，并将其作为输出结果15对外输出。

所述输入层11、多个隐含层12以及输出层13均包括多个神经元节点16，各层的神经元节点个数可以根据不同的应用情况设定。所述深度神经网络系统10信息流的逻辑层数通常大于3层，相邻两层神经元节点之间通过突触权重网络17连接。

所述深度神经网络系统10的突触权重由忆阻器件18实现。所述忆阻器件18是一种电阻值可以随着所施加的电信号进行改变的可塑物理器件，忆阻器件18的这种特性可以模拟神经网络间连接突触连接强弱的行为，即模拟神经网络自适应学习的功能。所述忆阻器件18的类型可以为两端忆阻器件、三端忆阻器件或其他常见的类型。所述忆阻器件18依靠不同的电阻值来区分不同的存储状态，其读写速度、器件密度、编程电压等各项指标都可以与当今领先的存储技术媲美，且其掉电不丢失，属于非易失性器件，能耗相当低。

请参见图3，该图为基于忆阻器件的神经网络系统计算原理示意图。本实施例中所述忆阻器件18的一端连接前端突触输入信号，另一端连接运算放大器的反向输入端。所述神经网络系统的计算过程可描述为Y_i＝f(∑_k-X_iR_fG_ki+b_i)，其中，X_i为第i个神经元节点的前端突触输入信号，G_ki为第i个神经元节点的第k个输入突触权重，R_f为第i个神经元节点上的运放反馈电阻，可以电导权重无量纲化，实现与人工神经网络无量纲权重的匹配(这种无量纲化的方式不仅限于本实施例提供的采用运算放大器实现这一种方法)。-R_fG_ki等效于传统神经网络的突触权重W_ki。输入信息乘以权重累加的过程，在忆阻器网络中直接映射实现，并且忆阻器具有低能耗、小尺寸和高速度的优点，提供了一种异于传统计算机神经网络的新型计算范式。

请参见图4，该图为所述深度神经网络系统10中忆阻器件的调制示意图。神经网络计算需要根据信息输入模式、当前输出结果和理想输出结果不断调整突触权重进行学习。基于忆阻器件的神经网络系统采用忆阻器件18模拟突触权重，利用所述忆阻器件18的电阻可以随着施加电信号进行改变的特性，可以根据不同的忆阻器件不同种类，设计特定的脉冲调制电路180进行调制。本实施例中所述忆阻器件18的电阻状态通过脉冲进行调制，脉冲调制方法包括：脉冲幅度调制、脉冲宽度调制、脉冲数量调制等。需要指出的是，所述忆阻器件18的调制方式并不仅限于本实施例提供的脉冲调制方式。

请参见图5，本发明进一步提供一种包含所述基于忆阻器件的深度神经网络系统10的信息处理系统100，该信息处理系统100包括：所述深度神经网络系统10、一输入信息接口20、一输出信息接口30、一输出结果比对模块40、一计算模块50以及一驱动电路60。

所述深度神经网络系统10的输入端连接所述输入信息接口20，输出端连接所述输出信息接口30。所述深度神经网络系统10进行深度神经网络运算，并将运算结果作为输出结果发送至所述输入信息接口20。

所述输入信息接口20与所述深度神经网络系统10相连，用于将外界信息输入模式转换为所述深度神经网络系统10所需的信号。

所述输出信息接口30分别连接所述深度神经网络系统10与输出结果比对模块40，用于将所述深度神经网络系统10产生的输出信号转换并发送给所述输出结果比对模块40。

所述输出结果比对模块40分别连接所述输出信息接口30与所述计算模块50，所述输出结果比对模块40将当前深度神经网络系统10的输出结果与理想结果进行比对，并将比对结果发送之所述计算模块50。

所述计算模块50分别连接所述输出结果比对模块40与所述驱动电路60，所述计算模块50接受所述输出结果比对模块40发送的误差信号，根据设定的神经网络训练算法计算网络连接权重调整量，并将该网络连接权重调整量发送至驱动电路60。

所述驱动电路60接收所述计算模块50发送的网络连接权重调整量，并根据该网络连接权重调整量控制所述忆阻器件的电阻值。所述驱动电路60进一步包括脉冲发生器61与读写电路62。所述脉冲发生器61产生用于调制所述忆阻器件的突触调制电信号，所述读写电路62完成对基于忆阻器件的神经网络连接权重的读写操作。

所述信息处理系统100的处理流程为：外界信息输入模式经由所述输入信息接口20转换为基于忆阻器件的深度神经网络10所需信号输入到所述信息处理系统100。经过所述深度神经网络系统10处理后，产生的输出信号经由所述输出信息接口30转换后发送至所述输出结果比对模块40。所述输出结果比对模块40将当前深度神经网络系统10的输出结果与理想结果进行比较后，产生误差信号发送至所述计算模块50。所述计算模块50根据设定的神经网络训练算法计算网络连接权重调整量并将该网络连接权重调整量发送至驱动电路60。所述驱动电路60接收所述网络连接权重调整量，根据该网络连接权重调整量对忆阻器件进行调制。经过将设定的训练算法在信息样本库中反复训练，基于忆阻器件的突触权重最终收敛于理想的状态。当新样本输入时，按照上述流程进行信息处理，便可输出理想的结果。

与现有技术相比，本发明提供的基于忆阻器件的深度神经网络系统首次将忆阻器件用于深度神经网络，通过采用新型的忆阻器件，使得整个系统的速度、密度和能耗都将比如今的计算机深度学习系统有很大提高，有望实现对大脑规模神经网络的实时与低能耗模拟。

另外，本领域技术人员还可在本发明精神内做其他变化，当然，这些依据本发明精神所做的变化，都应包含在本发明所要求保护的范围之内。

Claims (9)

1.一种基于忆阻器件的深度神经网络系统，包括：输入层、输出层以及多个隐含层；所述输入层接收外部信息输入模式，并将该输入模式送入所述多个隐含层，所述多个隐含层对来自输入层的输入模式进行逐层计算转换，并将计算结果发送至所述输出层，所述输出层接收所述隐含层的计算结果，并将其作为输出结果对外输出，相邻两层的神经元节点通过突触权重网络连接；其特征在于，所述深度神经网络系统的突触权重采用忆阻器件模拟，所述忆阻器件的电阻随着施加电信号进行改变。

2.如权利要求1所述的基于忆阻器件的深度神经网络系统，其特征在于，所述深度神经网络为信息流的逻辑层数大于3层的神经网络。

3.如权利要求1所述的基于忆阻器件的深度神经网络系统，其特征在于，所述忆阻器件为两端忆阻器件、三端忆阻器。

4.如权利要求1所述的基于忆阻器件的深度神经网络系统，其特征在于，所述忆阻器件一端连接前端突触输入信号，另一端连接运算放大器的反向输入端，所述神经网络系统的计算过程为Y_i＝f(∑_k-X_iR_fG_ki+b_i)，其中，X_i为第i个神经元节点的前端突触输入信号，G_ki为第i个神经元节点的第k个输入突触权重，R_f为第i个神经元节点上的运放反馈电阻。

5.如权利要求1所述的基于忆阻器件的深度神经网络系统，其特征在于，所述忆阻器件模拟的突触权重通过电压或电流脉冲进行调制。

6.如权利要求5所述的基于忆阻器件的深度神经网络系统，其特征在于，所述忆阻器件模拟的突触权重通过脉冲幅度调制、脉冲宽度调制或脉冲数量调制。

7.一种信息处理系统，其特征在于，包括：如权利要求1至5所述的基于忆阻器件的深度神经网络系统、计算模块、驱动电路、输出结果比对模块、输入信息接口以及输出信息接口；

所述输入信息接口用于将外界信息输入模式转换为所述深度神经网络系统所需的信号；

所述深度神经网络系统的输入端连接所述输入信息接口，输出端连接所述输出信息接口，所述深度神经网络系统用于进行深度神经网络运算，并将运算结果作为输出结果发送至所述输入信息接口；

所述输出信息接口分别连接所述深度神经网络系统与所述输出结果比对模块，用于将所述深度神经网络系统产生的输出信号转换并发送给所述输出结果比对模块；

所述输出结果比对模块分别连接所述输出信息接口与所述计算模块，所述输出结果比对模块将当前深度神经网络系统的输出结果与理想结果进行比对，并将比对结果发送之所述计算模块；

所述计算模块分别连接所述输出结果比对模块与所述驱动电路，所述计算模块接受所述输出结果比对模块发送的误差信号，根据设定的神经网络训练算法计算网络连接权重调整量并发送至驱动电路；

所述驱动电路接收所述计算模块发送的网络连接权重调整量，并根据该网络连接权重调整量控制所述忆阻器件的电阻值。

8.如权利要求7所述的信息处理系统，其特征在于，所述驱动电路进一步包括脉冲发生器与读写电路，所述脉冲发生器产生用于调制所述忆阻器件的突触调制电信号，所述读写电路完成对基于忆阻器件的神经网络连接权重的读写操作。

9.如权利要求8所述的信息处理系统，其特征在于，所述脉冲发生器控制脉冲的幅度、脉冲宽度或脉冲数量。