CN104376362A

CN104376362A - 用于人工神经网络的突触器件和人工神经网络

Info

Publication number: CN104376362A
Application number: CN201410673774.0A
Authority: CN
Inventors: 康晋锋; 毕颖杰; 龙云; 高滨; 陈冰; 刘晓彦
Original assignee: Peking University
Current assignee: Peking University
Priority date: 2014-11-21
Filing date: 2014-11-21
Publication date: 2015-02-25
Anticipated expiration: 2034-11-21
Also published as: CN104376362B

Abstract

本发明提供了一种用于人工神经网络的突触器件，所述人工神经网络包括多个神经元，所述多个神经元之间通过突触器件阵列相互连接，所述突触器件阵列包括多个突触器件，所述突触器件包括：两个、三个或更多个并联连接的突触单元。本发明还提供了一种包括这种突触器件的人工神经网络。

Description

用于人工神经网络的突触器件和人工神经网络

技术领域

本发明涉及用于人工神经网络的突触器件和人工神经网络。

背景技术

人工神经网络是一种模仿生物神经网络的装置，其应用机器学习算法，可以用于完成对各类信息如图像、声音的识别、分类等任务。一般而言，一个人工神经网络可以包括多个神经元和用于将神经元彼此互连的突触器件的阵列。作为示例，图1示意性示出了神经元1和与之相连的两个突触(synapse)器件W1和W2。分别经由突触器件W₁和W₂与神经元1相连的另外两个神经元(未示出)对神经元1的激励信号用X₁和X₂表示。神经元1例如可以用传统的CMOS电路实现。突触器件W₁和W₂例如可以由阻变器件(RRAM)实现。更具体地，突触器件W₁和W₂例如可以由基于金属氧化物的阻变器件(TMO-RRAM)实现。

在人工神经网络完成某个特定任务之前，需要进行训练，即通过重置(RESET)操作改变与一个神经元相连的突触器件的RRAM的电阻值，使得它对某个特定类型的输入敏感。图2示意性示出了对与神经元1相连的一个突触器件W_i进行训练的电路示意图。如图所示，重置电压V被施加到突触器件W_i，以改变突触器件W_i的RRAM的电阻值。然而，在低功耗工作区中，RRAM的电参数(例如电阻值)具有相当大的涨落。即使对于处于同一状态的RRAM，在施加相同的重置电压后，它们的电参数的变化也可能具有很大差异。这会影响人工神经网络训练的可靠性，从而降低人工神经网络在工作时的正确率。

发明内容

为解决现有技术中的至少一个问题而提出本发明。

本发明的一个方面提供了一种用于人工神经网络的突触器件，所述人工神经网络包括多个神经元，所述多个神经元之间通过突触器件阵列相互连接，所述突触器件阵列包括多个突触器件，所述突触器件包括：两个、三个或更多个并联连接的突触单元。

可选地，每个突触单元由阻变器件构成。

可选地，每个突触单元包括串联连接的阻变器件和整流器件。

可选地，所述整流器件是二极管；并且/或者所述阻变器件是基于金属氧化物的阻变器件TMO-RRAM。

可选地，当整流器件是二极管时：所述二极管的参数是基于所述突触器件的重置电压V确定的；或者所述突触器件的重置电压V是根据所述二极管的参数确定的，其中：所述二极管的参数包括二极管的反向饱和电流I_s、阈值电压V_T和理想因子η；并且在人工神经网络的训练期间，通过在所述突触器件上施加所述重置电压来使得所述突触器件对特定类型的输入敏感。

可选地，所述突触器件的重置电压是根据该突触器件中的二极管的平均参数值确定的。

可选地，该突触器件满足以下关系式：

I = \frac{η V_{T}}{R} W (\frac{I_{s} R}{η V_{T}} \exp \frac{V + I_{s} R}{η V_{T}}) - I_{s}

其中，y＝W(x)是乘积对数函数，即方程x＝ye^y的解，I是流过所述二极管和与所述二极管串联的阻变器件的电流，R是与所述二极管串联的阻变器件的电阻值。

可选地，所述突触器件的重置电压V、所述二极管的反向饱和电流I_s、阈值电压V_T和理想因子η被确定为使得电流I与电阻值R的对数logR成近似线性关系。

可选地，当电流I与电阻值R的对数logR成近似线性关系时，电流I与电阻值R的对数logR的线性拟合的相关系数尽可能接近1。

本发明的另一方面提供了一种人工神经网络，包括多个神经元，所述多个神经元之间通过突触器件阵列相互连接，所述突触器件阵列包括多个如上所述的突触器件。

附图说明

参考附图并结合以下详细说明，可以更加清楚本发明的上述和其他优点。附图意在说明而非限制本发明。在附图中，相同或相似的部件由相同或相似的附图标记表示。

图1示意性示出了人工神经网络中的一个神经元和与之相连的两个突触器件；

图2示意性示出了对与神经元相连的一个突触器件进行训练的电路示意图；

图3示意性示出了根据本发明实施例的突触器件及对其进行训练时的电路连接示意图；

图4示意性示出了通过选择二极管参数和重置电压，来实现流过二极管的电流和与其串联的RRAM器件的电阻对数值之间的近似线性关系；

图5示意性示出了根据本发明另一实施例的突触器件及对其进行训练时的电路连接示意图；以及

图6示意性示出了包括根据本发明实施例的突触器件的人工神经网络的系统仿真结果。

具体实施方式

以下参考附图描述本发明的优选实施方式。应当理解，以下实施方式是示例性而非穷举性的，其仅用于说明本发明的原理，而并非意在限制本发明的范围。

图3示意性示出了根据本发明实施例的突触器件W_i’及对其进行训练时的电路连接示意图。该突触器件W_i’的一端连接到重置电压V，另一端连接到神经元1。如图3所示，该突触器件W_i’包括并联连接的两个突触单元U₁和U₂。突触单元U₁包括串联连接的第一RRAM阻变器件R₁和第一整流器件D₁，突触单元U₂包括串联连接的第二RRAM阻变器件R₂和第二整流器件D₂。该RRAM阻变器件例如可以利用基于金属氧化物的阻变器件TMO-RRAM来实现。电路中的整流器件可以由二极管实现。

在该实施例中，为了抑制RRAM器件的电参数(例如电阻值)涨落对突触器件的不利影响，利用两个RRAM器件共同实现一个突触器件，以起到取平均的效果。

作为图3所示实施例的替代实施方式，可以将单个RRAM器件改成并联的两个RRAM器件，而省略图中所示的整流器件，则该并联的两个RRAM器件的电导值是这两个RRAM器件电导值的算术平均值。

但是，由于RRAM器件阻值的变化幅度呈指数依赖关系，通过将二极管与RRAM器件串联来对RRAM器件的电导值进行几何平均，则可以更有效抑制单个RRAM器件的电参数涨落的影响，极大地提高人工神经网络工作的正确率。

通过适当地选择二极管参数或重置电压V可以实现良好的几何平均效果。以突触单元U₁为例，记二极管D₁的反向饱和电流为I_s，阈值电压为V_T，理想因子为η。当RRAM器件R₁的阻值为R时，如果在突触器件W_i’的两端加上一个固定的重置电压V，则流过RRAM器件R₁和二极管D₁的电流I满足方程：

I = I_{s} (\exp \frac{V - IR}{η V_{T}} - 1)

从上面的方程中可以解得

I = \frac{η V_{T}}{R} W (\frac{I_{s} R}{η V_{T}} \exp \frac{V + I_{s} R}{η V_{T}}) - I_{s}

其中，y＝W(x)是乘积对数函数，即方程x＝ye^y的解。

基于上式，当重置电压V一定时，可以通过选择适当的二极管参数，即反向饱和电流I_s、阈值电压V_T和理想因子η，来保证电流I与电阻值的对数logR成近似的线性关系，例如，当对电流I和电阻值的对数logR进行线性拟合时，使相关系数尽可能接近1。例如，如图4所示，如果重置电压V固定为0.23V，则可以通过选取二极管D₁的参数为I_s＝10^-9A，V_T＝26mV，η＝0.8，来实现这种近似的线性关系。以类似的方式选择二极管D₂的参数。这样，二极管D₁将和它串联的RRAM器件R₁的阻值以电流的形式近似地转换成其对数，并且二极管D₂将和它串联的RRAM器件R₂的阻值以电流的形式近似地转换成其对数。以此方式，各并联的突触单元U₁和U₂中的电流同时流入神经元1，相当于实现了对突触器件W_i’中的RRAM器件R₁和R₂的电导值进行几何平均的作用，从而有效地抑制突触器件的电参数涨落对人工神经网络性能的不利影响。

可替换地，当二极管D₁和D₂的参数，即反向饱和电流I_s、阈值电压V_T和理想因子η一定时，可以通过选择适当的重置电压V，来保证电流I与电阻值的对数logR成近似的线性关系，例如，当对电流I和电阻值的对数logR进行线性拟合时，使相关系数尽可能接近1。例如，如图4所示，如果二极管D₁和/或D₂的参数为I_s＝10^-9A，V_T＝26mV，η＝0.8，则只要选取重置电压V为0.23V，即可实现这种近似的线性关系。对于其他可能的二极管参数，只要通过计算上式就可以找到最优的重置电压。由于突触器件W_i’中的两个二极管D₁和D₂的参数可能有所不同，可以使用二极管D₁和D₂的平均参数值来计算重置电压V。这样，二极管D₁将和它串联的RRAM器件R₁的阻值以电流的形式近似地转换成其对数，并且二极管D₂将和它串联的RRAM器件R₂的阻值以电流的形式近似地转换成其对数。以此方式，各并联的突触单元U₁和U₂中的电流同时流入神经元1，相当于实现了对突触器件W_i’中的RRAM器件R₁和R₂的电导值进行几伺平均的作用，从而有效地抑制突触器件的电参数涨落对人工神经网络性能的不利影响。

图5示意性示出了根据本发明另一实施例的突触器件W_i”及对其进行训练时的电路连接示意图。该突触器件W_i”的一端连接到重置电压V，另一端连接到神经元1。如图5所示，该突触器件W_i”包括并联连接的n(n≥3)个突触单元U₁、U₂、……U_n。突触单元U_i(1≤i≤n)包括串联连接的第i阻变器件R_i和第i整流器件D_i。该阻变器件例如可以利用基于金属氧化物的阻变器件TMO-RRAM来实现。电路中的整流器件可以由二极管实现。

与参考图3描述的实施例类似地，通过适当地选择二极管参数或重置电压V来实现良好的几何平均效果。以突触单元U_i为例，记第i二极管D_i的反向饱和电流为I_s，阈值电压为V_T，理想因子为η。当第i个RRAM器件R_i的阻值为R时，如果在突触器件W_i”的两端加上一个固定的重置电压V，则流过RRAM器件R_i和二极管D_i的电流I满足方程：

I = I_{s} (\exp \frac{V - IR}{η V_{T}} - 1)

从上面的方程中可以解得

I = \frac{η V_{T}}{R} W (\frac{I_{s} R}{η V_{T}} \exp \frac{V + I_{s} R}{η V_{T}}) - I_{s}

其中，y＝W(x)是乘积对数函数，即方程x＝ye^y的解。

基于上式，当重置电压V一定时，可以通过选择适当的二极管参数，即反向饱和电流I_s、阈值电压V_T和理想因子η，来保证电流I与电阻值的对数logR成近似的线性关系，例如，当对电流I和电阻值的对数logR进行线性拟合时，使相关系数尽可能接近1。这样，二极管D_i将和它串联的RRAM器件R_i的阻值以电流的形式近似地转换成其对数。以此方式，各并联的突触单元U_i中的电流同时流入神经元1，相当于实现了对突触器件W_i”中的RRAM器件R_i的电导值进行几何平均的作用，从而有效地抑制突触器件的电参数涨落对人工神经网络性能的不利影响。

可替换地，当二极管D_i的参数，即反向饱和电流I_s、阈值电压V_T和理想因子η一定时，可以通过选择适当的重置电压V，来保证电流I与RRAM器件R_i的电阻值的对数logR成近似的线性关系，例如，当对电流I和电阻值的对数logR进行线性拟合时，使相关系数尽可能接近1。由于不同二极管的参数可能有所不同，可以使用突触器件W_i”中的二极管D_i的平均参数值来计算重置电压V。这样，二极管D_i将和它串联的RRAM器件R_i的阻值以电流的形式近似地转换成其对数。以此方式，各并联的突触单元U_i中的电流同时流入神经元1，相当于实现了对突触器件W_i’中的RRAM器件R_i的电导值进行几何平均的作用，从而有效地抑制突触器件的电参数涨落对人工神经网络性能的不利影响。

作为图5所示实施例的替代实施方式，可以将单个RRAM器件改成并联的n(n≥3)个RRAM器件，而省略图中所示的整流器件，则该并联的n个RRAM器件的电导值是这n个RRAM器件电导值的算术平均值。

图6示意性示出了包括根据本发明实施例的突触器件的人工神经网络在用于图像识别时的系统仿真结果，其中突触器件包括三个并联的突触单元。在图6中，横轴代表了单个RRAM器件的电参数涨落的大小，纵轴代表了识别的正确率，正确率若为1代表完全识别，若为0.5则代表几乎无法识别。从图6的对比可以看到，如果RRAM器件的电参数涨落接近20％，则现有技术的人工神经网络几乎无法实现正确识别，而根据本发明的人工神经网络则即使在器件的电参数涨落很大的条件下，识别正确率受到的影响也很小。本发明利用二极管的非线性特性对RRAM器件的电参数涨落进行抑制，显著改善了神经网络电路的可靠性。本发明中的改进只需要增加很少的器件，从而很好地保持了低功耗、高密度等优势，同时又解决原先由单一RRAM形成突触器件的可靠性问题，满足了高性能人工神经网络对突触器件的要求。

以上参考具体实施例描述了本发明的原理。本领域技术人员可以理解，以上列举的各个细节仅用于说明而非限制本发明。本发明的保护范围由所附权利要求及其等同物限定。

Claims

1.一种用于人工神经网络的突触器件，所述人工神经网络包括多个神经元，所述多个神经元之间通过突触器件阵列相互连接，所述突触器件阵列包括多个突触器件，所述突触器件包括：

两个、三个或更多个并联连接的突触单元。

2.根据权利要求1所述的突触器件，其中每个突触单元由阻变器件构成。

3.根据权利要求1所述的突触器件，其中每个突触单元包括串联连接的阻变器件和整流器件。

4.根据权利要求3所述的突触器件，其中：

所述整流器件是二极管；并且/或者

所述阻变器件是基于金属氧化物的阻变器件TMO-RRAM。

5.根据权利要求4所述的突触器件，其中，当整流器件是二极管时：

所述二极管的参数是基于所述突触器件的重置电压V确定的；或者

所述突触器件的重置电压V是根据所述二极管的参数确定的，

其中：

所述二极管的参数包括二极管的反向饱和电流I_s、阈值电压V_T和理想因子η；并且

在人工神经网络的训练期间，通过在所述突触器件上施加所述重置电压来使得所述突触器件对特定类型的输入敏感。

6.根据权利要求5所述的突触器件，其中所述突触器件的重置电压是根据该突触器件中的二极管的平均参数值确定的。

7.根据权利要求5或6所述的突触器件，其中满足以下关系式：

I = \frac{η V_{T}}{R} W (\frac{I_{s} R}{η V_{T}} \exp \frac{V + I_{s} R}{η V_{T}}) - I_{s}

8.根据权利要求7所述的突触器件，其中所述突触器件的重置电压V、所述二极管的反向饱和电流I_s、阈值电压V_T和理想因子η被确定为使得电流I与电阻值R的对数logR成近似线性关系。

9.根据权利要求8所述的突触器件，其中当电流I与电阻值R的对数logR成近似线性关系时，电流I与电阻值R的对数logR的线性拟合的相关系数尽可能接近1。

10.一种人工神经网络，包括多个神经元，所述多个神经元之间通过突触器件阵列相互连接，所述突触器件阵列包括多个根据权利要求1-6中任一项所述的突触器件。