CN104916313B - 基于忆阻器件的神经网络突触结构及突触权重构建方法 - Google Patents

Abstract

本发明提供一种基于忆阻器件的神经网络突触结构，包括：第一忆阻器件、第二忆阻器件、电压反相器、运算放大器以及反馈电阻；所述第二忆阻器件与所述电压反相器串联，形成一串联结构，该串联结构与所述第一忆阻器件并联，形成一并联结构，该并联结构的一端连接输入电压，另一端连接所述运算放大器的反向输入端，所述运算放大器的的输出端与反向输入端之间跨接所述反馈电阻。

Description

基于忆阻器件的神经网络突触结构及突触权重构建方法

技术领域

本发明涉及一种神经网络突触结构，尤其涉及一种基于忆阻器件的神经网络突触结构。

背景技术

突触是神经网络中的关键基元，根据一定的算法修改突触权重是神经网络信息处理的基础。神经网络的突触权重通常具有兴奋性和抑制性两种，即正向权重和负向权重。忆阻器件是一种电导值可以受施加电信号调节的可塑电子器件，其良好的可塑性加之小尺寸、低能耗、高读写速度的优点，使其成为了未来神经形态工程中类突触器件的最佳选择。然而，现有技术中基于忆阻器件的突触结构并不能完全实现神经网络的双向权重。例如，图1给出了一种现有技术中基于单个忆阻器件的突触结构，其输入输出电压关系为：，等效权重为。由于忆阻器件采用电导作为自变量，而电导不能为负值，因此该类突触结构只能实现单向权重。本发明称此类突触为单向权重突触结构。

发明内容

有鉴于此，确有必要提供一种神经网络突触正负权重的构建方法以及一种同时支持正向权重和负向权重的神经网络突触结构。

一种基于忆阻器件的神经网络突触结构，包括：第一忆阻器件、第二忆阻器件、电压反相器、运算放大器以及反馈电阻；所述第一忆阻器件的输入端与输入电压直接相连，所述第二忆阻器件的输入端通过所述电压反相器与所述输入电压相连，所述第一忆阻器件的输出端、第二忆阻器件的输出端分别与所述运算放大器的反向输入端相联，所述运算放大器的同向输入端接地，所述反馈电阻跨接在所述运算放大器的输出端与反向输入端之间。

一种神经网络突触正负权重构建方法，提供一个正向作用忆阻器件与一个负向作用忆阻器件，将所述正向作用忆阻器件与所述负向作用忆阻器件并联；所述正向作用忆阻器件对突触权重起正向作用，增大该正向作用忆阻器件的电导，突触权重增加，减小该正向作用忆阻器件的电导，突触权重降低；所述负向作用忆阻器件对突触权重起负向作用，增大该负向作用忆阻器件的电导，突触权重降低，减小该负向作用忆阻器件的电导，突触权重增加。

与现有技术相比，本发明提供的神经网络突触正负权重的构建方法同时支持正向权重和负向权重，并且可以添加调制约束，在神经网络学习的过程中，实现突触权重在当前状态和目标状态之间的唯一性路径调制。本发明将为未来基于忆阻器件构建大规模神经形态网络并发展更为复杂的信息处理功能提供一种有效的方法。

附图说明

图1为现有技术中基于忆阻器件的神经网络突触结构图

图2为本发明提供的基于忆阻器件的神经网络突触结构图

图3为本发明提供的突触结构双向突触权重调制原理图

图4为本发明提供的突触结构双向突触权重调制中的4种调制情况

图5为基于本发明的神经网络学习的突触权重调制过程示例图

主要元件符号说明

神经网络突触结构	10
		第一忆阻器件	G1
第二忆阻器件	G2
		电压反相器	T
运算放大器	A
		反馈电阻	Rf

如下具体实施方式将结合上述附图进一步说明本发明。

具体实施方式

下面将结合附图及具体实施例对本发明提供的基于忆阻器件的神经网络突触结构作进一步的详细说明。

请参见图2，该图为本发明提供的基于忆阻器件的神经网络突触结构10，包括：第一忆阻器件G1、第二忆阻器件G2、电压反相器T、运算放大器A以及反馈电阻Rf。所述第一忆阻器件G1的输入端与输入电压直接相连，所述第二忆阻器件G2的输入端通过电压反相器T与输入电压相连，所述第一忆阻器件G1的输出端、第二忆阻器件G2的输出端分别与所述运算放大器A的反向输入端相联，所述运算放大器A的同向输入端接地，所述反馈电阻Rf跨接在所述运算放大器A的输出端与反向输入端之间。

所述电压反相器T的作用是使得所述第二忆阻器件G2对权重起负向作用，使得等效合成电导为两个忆阻器件电导的差值。所述神经网络突触结构10的输入输出电压关系为：，等效权重为：，其中为输出电压，也即所述运算放大器A输出端的电压，为输入电压，为第一忆阻器件G1的电导，为第二忆阻器件G2的电导，为反馈电阻Rf的电阻值。所述第一忆阻器件G1对突触权重起正向作用，增大该第一忆阻器件G1的电导，突触权重增加，减小该第一忆阻器件G1的电导，突触权重降低；所述第二忆阻器件G2对突触权重起负向作用，增大该第二忆阻器件G2的电导，突触权重降低，减小该第二忆阻器件G2的电导，突触权重增加。通过调整上述两个忆阻器件的电导，可以实现正向权重和负向权重。

所述第一忆阻器件G1与第一忆阻器件G2并联合成的等效电导为上述两个忆阻器件各自电导的差值，该差值会受到其中任意一个忆阻器件电导状态的影响。例如，增加突触权重，可以采用增大所述第一忆阻器件G1的电导，也可以减小所述第二忆阻器件G2的电导，调制途径并不唯一，严重影响整个神经网络的学习过程。为此，本发明进一步提供一种针对两个忆阻器件实现双向突触权重的调制方法，可以根据突触权重的当前状态G和目标状态G’规划两个忆阻器件的唯一调制路径。

请一并参阅图3与图4，图3为图2中神经网络突触结构10的双向突触权重调制方法原理图。本实施例中以一种忆阻器件作为示例，但本发明适用于各种忆阻器件。本实施例中所述第一忆阻器件G1与第二忆阻器件G2的电导范围均为[1.5 mS, 4.5 mS]，该两个起相反作用的并联忆阻器件等效合成电导范围为[-3 mS, +3 mS]。图3中将突触等效合成电导在整个区间内划分为4个变换阶段，即：正电导递增阶段a、正电导递减阶段b、负电导递减阶段c、负电导递增阶段d，分别对应等效合成电导从0 mS到3 mS、3 mS到0 mS、0 mS到-3 mS、-3mS到0 mS。图4展示了与图3中4个变换阶段对应的4种硬件调制方式，分别为：调制情况a—增大第一忆阻器件G1电导，调制情况b—减小第一忆阻器件G2电导，调制情况c—增大第二忆阻器件G2电导，调制情况d—减小第二忆阻器件G2电导。上述4种硬件调制方式也可表示为：，当G’>G≥0时，增大所述第一忆阻器件G1的电导，保持所述第二忆阻器件G2的电导不变；当G >G’≥0时，减小所述第一忆阻器件G1的电导，保持所述第二忆阻器件G2的电导不变；当G’<G≤0时，增大所述第二忆阻器件G2的电导，保持所述第一忆阻器件G1的电导不变；当G<G’≤0时，减小所述第二忆阻器件G2的电导，保持所述第一忆阻器件G1的电导不变，其中G为突触权重的当前状态等效合成电导，G’为突触权重的目标状态等效合成电导。

需要说明的是，上述等效合成电导变换阶段的划分可以有多种方式，以及每一变换阶段也可以对应其他的硬件调制方式，只需要保证每一个变换阶段确定且唯一对应于一种硬件调制方式，以及每一种硬件调制方式确定且唯一对应于一个变换阶段。本发明通过限制不能同时调制两个忆阻器件的电导，以及规定等效合成电导变化对应的忆阻器件调制方式，可以实现突触权重从当前状态到目标状态的唯一路径调制。

神经网络信息处理的关键是根据某种学习算法调整突触的权重。本发明中突触权重的具体调制过程请参见图5。某突触权重变化经过考虑后，折算为突触等效合成电导，本实施例中的突触等效合成电导的变换范围为[-0.22 mS, 0.34 mS]。假设两个忆阻器件最初电导相等且处于低电导状态，此时等效合成电导为0 mS。图5示例了该突触在学习时前1000次权重调整的过程，并标注了一些典型的调制过程，分别对应到图4中的4种忆阻器件调制情况。例如，从最左端起始位置开始，首先增大第二忆阻器件G2的电导使得突触权重减小（对应图3中的调制情况c）；接着减小第二忆阻器件的电导使得突触权重增大（对应图3中的调制情况d）；然后增大第一忆阻器件的电导使得突触权重增大（对应图3中的调制情况a）；再减小第一忆阻器件的电导使得突触权重减小（对应图3中的调制情况b）。后面的调制过程以此类推，最终按照本实施例中规定的唯一性调制方式，成功实现神经网络任意突触的有效调整。

本发明还提供一种神经网络突触正负权重构建方法，包括：提供一个正向作用忆阻器件与一个负向作用忆阻器件，将所述正向作用忆阻器件与所述负向作用忆阻器件并联；所述正向作用忆阻器件对突触权重起正向作用，增大该正向作用忆阻器件的电导，突触权重增加，减小该正向作用忆阻器件的电导，突触权重降低；所述负向作用忆阻器件对突触权重起负向作用，增大该负向作用忆阻器件的电导，突触权重降低，减小该负向作用忆阻器件的电导，突触权重增加。通过调节所述正向作用忆阻器件与所述负向作用忆阻器件的电导实现调制所述神经网络突触正负权重，调制过程中，在所述正向作用忆阻器件与所述负向作用忆阻器中选择一个忆阻器件进行电导调整。

与现有技术相比，本发明提供的基于忆阻器件的神经网络突触结构及神经网络突触正负权重构建方法同时支持正向权重和负向权重，并且可以添加调制约束，在神经网络学习的过程中，实现突触权重在当前状态和目标状态之间的唯一性路径调制。本发明将为未来基于忆阻器件构建大规模神经形态网络并发展更为复杂的信息处理功能提供一种有效的方法。

另外，本领域技术人员还可在本发明精神内做其他变化，当然，这些依据本发明精神所做的变化，都应包含在本发明所要求保护的范围之内。

Claims (9)

1.一种基于忆阻器件的神经网络突触结构，其特征在于，包括：第一忆阻器件、第二忆阻器件、电压反相器、运算放大器以及反馈电阻；所述第一忆阻器件的输入端与输入电压Vin直接相连，所述第二忆阻器件的输入端通过所述电压反相器与所述输入电压Vin相连，所述第一忆阻器件的输出端、第二忆阻器件的输出端分别与所述运算放大器的反向输入端相连，所述运算放大器的同向输入端接地，所述反馈电阻跨接在所述运算放大器的输出端与反向输入端之间；所述第一忆阻器件、所述第二忆阻器件以及所述电压反相器三者的等效合成电导为(G1-G2)，所述神经网络突触结构的等效权重为双向权重-Rf(G1-G2)，其中G1为所述第一忆阻器件的电导，G2为所述第二忆阻器件的电导，Rf为所述反馈电阻的阻值。

2.如权利要求1所述的基于忆阻器件的神经网络突触结构，其特征在于，所述第一忆阻器件对突触权重起正向作用，增大所述第一忆阻器件的电导，突触权重增加，减小所述第一忆阻器件的电导，突触权重降低；所述第二忆阻器件对突触权重起负向作用，增大所述第二忆阻器件的电导，突触权重降低，减小所述第二忆阻器件的电导，突触权重增加。

3.如权利要求1所述的基于忆阻器件的神经网络突触结构，其特征在于，所述输入电压与所述运算放大器输出端电压之间满足以下关系：

Vout＝Vin′[-R f(G1-G2)]；

其中Vout为运算放大器输出端电压，Vin为输入电压，G1为所述第一忆阻器件的电导，G2为所述第二忆阻器件的电导，R f为反馈电阻的电阻值。

4.如权利要求1所述的基于忆阻器件的神经网络突触结构，其特征在于，通过调整所述第一忆阻器件或所述第二忆阻器件的电导实现调制所述神经网络突触的正负权重。

5.如权利要求4所述的基于忆阻器件的神经网络突触结构，其特征在于，在所述第一忆阻器件与所述第二忆阻器件中选择一个忆阻器件进行电导调整。

6.如权利要求4所述的基于忆阻器件的神经网络突触结构，其特征在于，调制过程中，由突触权重的当前状态G到目标状态G’的调制路径唯一。

7.如权利要求4所述的基于忆阻器件的神经网络突触结构，其特征在于：

当G’>G≥0时，增大所述第一忆阻器件的电导，保持所述第二忆阻器件的电导不变；

当G>G’≥0时，减小所述第一忆阻器件的电导，保持所述第二忆阻器件的电导不变；

当G’<G≤0时，增大所述第二忆阻器件的电导，保持所述第一忆阻器件的电导不变；

当G<G’≤0时，减小所述第二忆阻器件的电导，保持所述第一忆阻器件的电导不变，其中，G为突触权重的当前状态，G’为突触权重的目标状态。

8.一种神经网络突触正负权重构建方法，其特征在于，提供第一正向作用忆阻器件与一个负向作用忆阻电路，所述负向作用忆阻电路包括第二正向作用忆阻器件和连接在所述第二正向作用忆阻器件的电压反相器，所述第一正向作用忆阻器件对突触权重起正向作用，增大所述第一正向作用忆阻器件的电导，突触权重增加，减小所述第一正向作用忆阻器件的电导，突触权重降低；所述负向作用忆阻电路对突触权重起负向作用，增大所述第二正向作用忆阻器件的电导，突触权重降低，减小所述第二正向作用忆阻器件的电导，突触权重增加；将所述第一正向作用忆阻器件与所述负向作用忆阻电路并联，且并联后的输入端与输入电压Vin相连。

9.如权利要求8所述的神经网络突触正负权重构建方法，其特征在于，所述神经网络突触正负权重的调制通过调节所述第一正向作用忆阻器件或所述负向作用忆阻电路的电导实现，所述神经网络突触正负权重由当前状态G到目标状态G’的调制路径唯一。