CN110991624A - 一种变脉宽输入电荷积累型忆阻神经网络电路 - Google Patents

Abstract

本发明公开一种变脉宽输入电荷积累型忆阻神经网络电路，包括脉宽调制电路，极性控制电路，编程控制电路，忆阻器阵列，电荷积累电路，激活函数电路，比较控制与模拟权重更新电路。本发明将输入的数字逻辑值通过脉宽调制电路变换为脉宽调制信号，从而有利于神经网络精度的提高；将脉宽调制电路和极性控制电路相结合，以及利用电荷积累电路的同向或反向积分，使得只使用单一的忆阻器阵列即可实现正，零或负的权重，并能够显著地节省了芯片面积；此外，忆阻器阵列的权重编程和电荷积累电容的复位可以同步进行，有利于硬件电路的运算速度的提升。

Description

一种变脉宽输入电荷积累型忆阻神经网络电路

技术领域

本发明涉及集成电路技术领域，具体涉及一种变脉宽输入电荷积累型忆阻神经网络电路。

背景技术

过去十几年来，热点技术之一的非易失性存储技术受到学术界和工业界的双重推动，取得了非常大的进步，特别是以忆阻器为代表的阻性随机存储器。其突出特征是可以三维高密度集成，超低功耗，并行处理等，从而成为大数据人工智能硬件电路实现的最佳候选器件之一。忆阻器在存储器，逻辑电路，模拟电路，神经形态等各方面都有广泛的应用，其中基于忆阻神经网络的神经形态应用研究则是研究热点中的热点，也是人工智能硬件实现的关键。

传统的电压模忆阻神经网络的特征是输入电压V_j的幅度可变，通过忆阻器阵列后实现电流积累，即对忆阻器第j列来说，电流积累的输出I_j等于

其中M_ij为第i行第j列的忆阻器阻值。而作为无源元件，忆阻器的阻值M_ij为恒大于零的值。为了获得负的权重值，往往需要增加一个同等规模的辅助忆阻器阵列，利用两个忆阻器阵列的信号运算获得负的权重值，当神经网络的规模较大的时候，辅助忆阻器阵列显著地增加了芯片面积。其次，对忆阻器阵列的编程一旦完成后，就需要在下一次编程之前保持稳定，从而要求输入电压信号V_j的幅度小于忆阻器的阈值电压。但不幸的是，对非二进制神经网络，系统的输入V_j是多值或模拟连续信号输入，要使得所有的输入值低于忆阻器的阈值电压，就意味着各个输入值之间的电压差变得非常小，忆阻器的阈值电压越低，意味着最大输入电压V_jmax越小，相邻输入值V_j和V_j+1的电压差△V越小，硬件实现越困难，以至于无法区分相邻的输入值。在这种情况下，即使软件模拟的神经网络精度较高，也会由于硬件精度较低或无法实现，而使得最终的硬件神经网络的精度大打折扣。为此，在输入值域较大的忆阻神经网络中，亟需一种新的方法来解决以上问题，从而易于区分输入的多态值和便于硬件电路实现。

发明内容

本发明所要解决的是传统的电压模忆阻神经网络电路在多态输入值下，硬件电路实现困难，相邻的输入值难以区分的问题，提供一种变脉宽输入电荷积累型忆阻神经网络电路。

为解决上述问题，本发明是通过以下技术方案实现的：

一种变脉宽输入电荷积累型忆阻神经网络电路，包括比较控制与模拟权重更新电路和至少一层神经网络电路。

每一层神经网络电路均包括可调时钟源、脉宽调制电路、极性控制电路、编程控制电路、忆阻器阵列、电荷积累电路和激活函数电路。可调时钟源的输出端连接脉宽调制电路的时钟输入端；脉宽调制电路的m_s个输入端形成本层神经网络电路的m_s个输入端，脉宽调制电路的m_s个输出端连接极性控制电路的m_s个第一输入端；极性控制电路的m_s个输出端连接编程控制电路的m_s个第一输入端；编程控制电路的m_s个输出端连接忆阻器阵列的m_s个输入端。忆阻器阵列的n_s个输出端连接电荷积累电路的n_s个第一输入端，电荷积累电路的n_s个输出端连接激活函数电路的n_s个输入端，激活函数电路的n_s个输出端形成本层神经网络电路的n_s个输出端。

第一层神经网络电路的脉宽调制电路的输入端形成整个变脉宽输入电荷积累型忆阻神经网络电路的总的输入端；前一层神经网络电路的激活函数电路的输出端连接后一层神经网络电路的脉宽调制电路的输入端；最后一层神经网络电路的激活函数电路的输出端形成整个变脉宽输入电荷积累型忆阻神经网络电路的总的输出端。

比较控制与模拟权重更新电路的TAR信号输入端个数与最后一层神经网络电路的输出端数量相同，其与给定的目标值信号相连。比较控制与模拟权重更新电路的Z信号输出端个数为

其分别连接各层神经网络电路的极性控制电路的m_s个第二输入端。比较控制与模拟权重更新电路的P信号输出端个数为

其分别连接各层神经网络电路的编程控制电路的m_s个第二输入端，比较控制与模拟权重更新电路的S_IN信号输出端个数为

其分别连接各层神经网络电路的编程控制电路的m_s个第三输入端，比较控制与模拟权重更新电路的S_WP信号输出端个数为

其分别连接各层神经网络电路的编程控制电路的m_s个第四输入端。比较控制与模拟权重更新电路的S信号输出端个数为

其分别连接各层神经网络电路的忆阻器阵列的m_s×n_s个控制端。比较控制与模拟权重更新电路的S_GF信号输出端个数为

其分别连接各层神经网络电路的电荷积累电路的n_s个第二输入端，比较控制与模拟权重更新电路的S_GB信号输出端个数为

其分别连接各层神经网络电路的电荷积累电路的n_s个第三输入端。比较控制与模拟权重更新电路的Y信号输入端个数为

其分别连接各层神经网络电路的激活函数电路的n_s个输出端。

其中m_s为第s层神经网络电路的输入端数目；n_s为第s层神经网络电路的输出端的数目，s＝1,2,…,S，S为神经网络的层数。

上述方案中，所有层神经网络电路共用同一个可调时钟源。

上述方案中，第一层神经网络电路的脉宽调制电路为数控脉宽调制电路，第二层至最后一层的脉宽调制电路为模拟脉宽调制电路。

上述方案中，所述极性控制电路由m_s路极性控制单元组成；其中每路极性控制单元均包括PMOS管T_Jpi，NMOS管T_Jni，电阻R_Ji0-R_Ji2，以及放大器A_3i；PMOS管T_Jpi的漏极和NMOS管T_Jni的漏极相连后，形成极性控制电路的第i个第一输入端；PMOS管T_Jpi的栅极和NMOS管T_Jni的栅极相连后，形成极性控制电路的第i个第二输入端；NMOS管T_Jni的源极经由电阻R_Ji1连接放大器A_3i的反向输入端；PMOS管T_Jpi的源极分为两路，一路经由电阻R_Ji2连接放大器A_3i的反向输入端，另一路连接放大器A_3i的输出端；电阻R_Ji0的一端连接放大器A_3i的同向输入端，另一端接地；放大器A_3i的输出端形成极性控制电路的第i个输出端；其中i＝1,2,…,m_s，m_s为第s层神经网络电路的输入端数目。

上述方案中，所述编程控制电路由m_s路编程控制单元组成；其中每路编程控制单元均包括NMOS管T_Bi、T_Pi；NMOS管T_Bi的漏极形成编程控制电路的第i个第一输入端；NMOS管T_Pi的漏极形成编程控制电路的第i个第二输入端；NMOS管T_Bi的源极和NMOS管T_Pi的源极相连后，形成编程控制电路的第i个输出端；NMOS管T_Bi的栅极形成编程控制电路的第i个第三输入端；NMOS管T_Pi的栅极形成编程控制电路的第i个第四输入端；其中i＝1,2,…,m_s，m_s为第s层神经网络电路的输入端数目。

上述方案中，所述电荷积累电路包括n_s路电荷积累单元；每路电荷积累单元均包括NMOS管T_GFj、T_GBj，放大器A_1j、A_2j，以及电容C_j；NMOS管T_GFj的漏极和放大器A_1j的反向输入端相连后，形成电荷积累电路的第j个第一输入端；NMOS管T_GFj的栅极形成电荷积累电路的第j个第二输入端；电容C_j的一端连接放大器A_1j的反向输入端，另一端连接放大器A_1j的输出端；放大器A_1j的输出端、放大器A_2j的同向输入端和NMOS管T_GBj的漏极相连；NMOS管T_GBj的栅极形成电荷积累电路的第j个第三输入端；放大器A_2j的反向输入端和输出端相连后，形成电荷积累电路的第j个输出端；放大器A_1j的同向输入端、NMOS管T_GFj的源极和NMOS管T_GBj的源极接地；其中j＝1,2,…,n_s，n_s为第s层神经网络电路的输出端的数目。

上述方案中，所述激活函数电路由n_s路激活函数单元组成；每路激活函数单元的输入端形成激活函数电路的第j个输入端，每路激活函数单元的输出端形成激活函数电路的第j个输出端；其中j＝1,2,…,n_s，n_s为第s层神经网络电路的输出端的数目。

本发明将输入的数字逻辑值通过脉宽调制电路变换为脉宽调制信号，这种变脉宽输入特别适合离散多值或模拟连续输入的情况，非常易于区分相邻输入值，并且对输入的值域大小没有任何限制，基准脉宽还可以通过调节可调时钟源的频率进行控制，这些都有利于神经网络精度的提高，解决了传统的电压模忆阻神经网络电路的输入值域受限于忆阻器阈值电压的问题。脉宽调制电路和极性控制电路相结合，以及利用电荷积累电路的同向或反向积分，使得只使用单一的忆阻器阵列即可实现正，零或负的权重，相比传统的电压模忆阻神经网络电路的两个忆阻器阵列，这一方法显著地节省了芯片面积。而且忆阻器阵列的权重编程和电荷积累电容的复位可以同步进行，有利于硬件电路的运算速度的提升。

与现有技术相比，本发明具有如下特点：

1.本发明提出的电路可以根据神经网络的输入值的大小将其变换为脉宽受输入值大小控制的变脉宽信号。这种变脉宽输入特别适合离散多值或模拟连续输入的情况，非常易于区分相邻输入值，并且对输入的值域大小没有任何限制，基准脉宽还可以通过调节可调时钟源的频率进行控制，这些都有利于神经网络精度的提高。而传统的电压模忆阻神经网络电路的输入值域受限于忆阻器阈值电压，输入值域越大，则相邻输入值越难区分，导致神经网络的精度越低。

2.本发明通过脉宽调制电路和极性控制电路的变换，将其输入变为脉宽与输入大小成正比的信号，其信号的极性则取决于目标权重的符号。并将忆阻器阵列的列输出通过电容进行同向积分或反向积分，电容上的电荷积累值即忆阻器阵列的矢量矩阵乘法结果。这一方法非常容易地在忆阻器阵列上实现正，零或负的权重。无需像传统的电压模忆阻神经网络电路那样通常需要两个忆阻器阵列。这一方法仅需一个忆阻器阵列。

3.忆阻器阵列的权重编程和积累电容复位可以同步进行，有利于硬件电路的运算速度的提升。

附图说明

图1为一种变脉宽输入电荷积累型忆阻神经网络电路的原理图。

图2为1M1T结构忆阻器阵列原理图。

图3为忆阻神经网络电路第k列的前向信号计算等效电路图。

图4为电路运行流程图。

图5为关键节点的电压波形示意图。

具体实施方式

本发明实际上可以适合任意深度(即任意层数)的忆阻神经网络，设计之初，会给定输入端的个数和输出端的个数，但忆阻神经网络的层数可以在设计之初直接给定，也可以在设计时通过性能优化进行确定。实际应用中神经网络的输入端数目m的大小、输出端数目n的大小、神经网络的层数和比较控制与模拟权重更新电路中所运行的权重更新的算法等取决于具体的应用场景需要。例如对3×3二进制图像进行简单的3类模式识别，采用10个输入3个输出的单层忆阻神经网络即可，而对MNIST手写数字识别库的手写数字识别通常需要784个输入10个输出的单层或多层忆阻神经网络；而对Yale人脸识别数据库的人脸图像进行识别则通常需要1024个输入15个输出的多层忆阻神经网络。但是，基于多层神经网络的层与层的相似性，本实施例仅通过单层神经网络描述本发明的特征。

虽然本发明适合任意深度的忆阻神经网络电路，但为方便描述，本实施例以图1所示的单层忆阻神经网络电路为例进行说明，即一种变脉宽输入电荷积累型忆阻神经网络电路，包括可调时钟源、脉宽调制电路、极性控制电路、编程控制电路、忆阻器阵列、电荷积累电路、激活函数电路、以及比较控制与模拟权重更新电路。

所述忆阻器阵列的端口包括输入信号XC₁,XC₂,…,XC_m，S₁₁,…,S_mn，输出信号YC₁,YC₂,…,YC_n。输入信号XC₁,XC₂,…,XC_m为编程控制电路的输出信号。输入信号S₁₁,…,S_mn为比较控制与模拟权重更新电路的输出信号。输出信号YC₁,…,YC_n为电荷积累电路的输入信号。以忆阻器阵列的第n列电路为例，忆阻器阵列的输出YC_n和电荷积累电路的T_GFn的漏极、放大器A_1n的反向输入端以及C_n的一端相连。

忆阻器阵列的大小可以根据给定的输入信号的个数、输出信号的个数和层数进行选择。当给定的输入信号为m个，输出信号为n个时，由于本实施例为单层忆阻神经网络，因此所选用的忆阻器阵列大小为m×n。所选用的忆阻器阵列可以采用1M1T结构、2M1R结构或4M桥式结构等，但在本实施中，忆阻器阵列为如图2所示的1M1T结构，其包括忆阻器M₁₁,…,M_mn，NMOS管TC₁₁,…,TC_mn。其中忆阻阵列的输入信号XC₁,XC₂,…,XC_m为编程控制电路的输出；输出信号YC₁,YC₂,…,YC_n为电荷积累电路的输入；NMOS管TC₁₁,…,TC_mn的栅极分别连接到比较控制与模拟权重更新电路的S₁₁,…,S_mn。以第m行第n列的电路为例，忆阻器M_mn的正极连接忆阻器阵列输入信号XC_m，M_mn负极连接NMOS管TC_mn的漏极；NMOS管TC_mn的栅极连接S_mn,NMOS管TC_mn的源极连接输出信号YC_n。

所述脉宽调制电路的输入端为变脉宽输入电荷积累型忆阻神经网络电路的信号输入端，其输入信号有m个，分别为X₁，X₂，…，X_m，脉宽调制电路的输出为XA₁，XA₂，…，XA_m，输出XA₁，XA₂，…，XA_m的脉宽宽度分别和输入X₁，X₂，…，X_m的幅度大小成正比。脉宽调制电路的输出接极性控制电路的输入端。

所述可调时钟源的输出CLK连接脉宽调制电路输入端。

所述极性控制电路包括PMOS管T_Jp1,T_Jp2,…,T_Jpm，NMOS管T_Jn1,T_Jn2,…,T_Jnm，电阻R_J10,R_J20,…,R_Jm0，R_J11,R_J21,…,R_Jm1，R_J12,R_J22,…,R_Jm2，及放大器A₃₁,A₃₂,…,A_3m。其中每一对T_Jpm、T_Jnm构成一个极性控制开关，每一组R_Jm0、R_Jm1、R_Jm2及放大器A_3m构成一个反向比例运算放大器。以第m行电路为例，脉宽调制电路的输出信号XA_m连接PMOS管T_Jpm的漏极和NMOS管T_Jnm的漏极；比较控制与模拟权重更新电路的输出信号Z_m连接到极性控制电路的PMOS管T_Jpm的栅极以及NMOS管T_Jnm的栅极；NMOS管T_Jnm的源极连接电阻R_Jm1的一端；电阻R_Jm1的另一端与放大器A_3m的反向输入端及电阻R_Jm2的一端相连接；电阻R_Jm2的另一端与PMOS管T_Jpm的源极及放大器A_3m的输出相连接；放大器A_3m的同向输入端连接电阻R_Jm0的一端，电阻R_Jm0的另一端接地；反向比例运算放大器A_3m的输出XB_m即为极性控制电路的输出。极性控制电路的输出XB₁,XB₂,…,XB_m为编程控制电路的输入。

所述编程控制电路包括NMOS管T_B1,T_B2,…,T_Bm，T_P1,T_P2,…,T_Pm。其中NMOS管T_B1,…,T_Bm的栅极分别连接到比较控制与模拟权重更新电路的输出信号S_IN1,…,S_INm；极性控制电路的输出XB₁,XB₂,…,XB_m即为编程控制电路的输入。NMOS管T_P1,…,T_Pm的栅极分别连接到比较控制与模拟权重更新电路的输出信号S_WP1,…,S_WPm；NMOS管T_P1,…,T_Pm的漏极分别连接到比较控制与模拟权重更新电路的输出编程脉冲信号端P₁,…,P_m。编程控制电路的输出信号XC₁,…,XC_m为忆阻器阵列的输入信号。以第m行电路为例，极性控制电路的输出XB_m连接编程控制电路的NMOS管T_Bm的漏极；NMOS管T_Bm的源极与NMOS管T_pm的源极连接到忆阻器阵列的输入端XC_m。

所述电荷积累电路包括n_s路电荷积累单元；每路电荷积累单元均包括NMOS管T_GFj、T_GBj，放大器A_1j、A_2j，以及电容C_j；NMOS管T_GFj的漏极和放大器A_1j的反向输入端相连后，形成电荷积累电路的第j个第一输入端；NMOS管T_GFj的栅极形成电荷积累电路的第j个第二输入端；电容C_j的一端连接放大器A_1j的反向输入端，另一端连接放大器A_1j的输出端；放大器A_1j的输出端、放大器A_2j的同向输入端和NMOS管T_GBj的漏极相连；NMOS管T_GBj的栅极形成电荷积累电路的第j个第三输入端；放大器A_2j的反向输入端和输出端相连后，形成电荷积累电路的第j个输出端；放大器A_1j的同向输入端、NMOS管T_GFj的源极和NMOS管T_GBj的源极接地；其中j＝1,2,…,n_s，n_s为第s层神经网络电路的输出端的数目。

所述激活函数电路由激活函数f₁(x),…,f_n(x)构成，其中电荷积累电路的输出信号Y_f1,Y_f2,…,Y_fn即为其输入信号，其输出信号Y₁,Y₂,…,Y_n连接到比较控制与模拟权重更新电路的输入，输出信号Y₁,Y₂,…,Y_n同时也是变脉宽输入电荷积累忆阻神经网络电路的输出。

所述比较控制与模拟权重更新电路包括输入信号Y₁,Y₂,…,Y_n,TAR₁,TAR₂,…,TAR_n；输出信号Z₁,Z₂,…,Z_m,P₁,P₂,…,P_m,P₁,S_WP1,…,S_WPm,S₁₁,…,S_mn,S_GF1,…,S_GFn,S_IN1,…,S_INm,S_GB1,…,S_GBn。其中输入信号TAR₁,TAR₂,…,TAR_n为变脉宽输入电荷积累型忆阻神经网络电路的输入信号；输入信号Y₁,Y₂,…,Y_n连接到激活函数电路的输出；输出信号Z₁,Z₂,…,Z_m连接到极性控制电路的输入；输出信号S_WP1,…,S_WPm,P₁,P₂,…,P_m,S_IN1,…,S_INm连接到编程控制电路的输入；输出信号S_GF1,…,S_GFn,S_GB1,…,S_GBn连接到电荷积累电路的输入；输出信号S₁₁,…,S_mn连接到忆阻器阵列的输入。

比较控制和模拟权重更新电路的内部结构取决于所选用的权重更新的算法，例如误差反向传播(BP)算法，该方法对网络中所有权重计算损失函数的梯度，通过梯度下降法来更新权重值以最小化损失函数，激励前向传播和误差反向传播反复迭代，直到系统对输入的响应达到满意的预定目标范围为止。又如随机权重更新(RWC)算法是根据误差进行随机权重生成，优点是比BP算法硬件电路要简单很多，但是需要更多的迭代计算，速度较慢。当然也可以融合BP算法和RWC算法来实现比较控制和模拟权重更新电路。比较控制和模拟权重更新电路的本身和应用到的算法并不属于本发明所关注的重点。

本发明的工作原理为：

为了描述的方便，以及遵循神经网络电路研究中的习惯，这里以矢量矩阵符号简要标记输入量，输出量和权重。记输入信号X₁,X₂,…,X_m为X，通过脉宽调制电路后的信号XA₁,XA₂,…,XA_m为XA，通过极性控制电路后的信号XB₁,XB₂,…,XB_m为XB，通过编程控制电路后的信号XC₁,XC₂,…,XC_m为XC，忆阻器阵列的权重M₁₁,M₁₂,…,M_1n,M₁₂,…,M_mn为权重矩阵M，忆阻器阵列的NMOS管TC₁₁,TC₁₂,…,TC_1n,TC₁₂,…,TC_mn的控制信号S₁₁,S₁₂,…,S_1n,S₁₂,…,S_mn为S。电荷积累电路的输出信号Y_f1,Y_f2,…,Y_fn为Y_f,激活函数电路的输出Y₁,Y₂,…,Y_n为Y，目标值TAR₁,TAR₂,…TAR_n为TAR。编程控制电路的NMOS管栅极信号S_IN1,S_IN2,…,S_INm为S_IN。编程控制电路的NMOS管栅极信号S_WP1,S_WP2,…,S_WPm为S_WP，编程控制电路的输入信号P₁,P₂,…,P_m为P，NMOS管T_B1,T_B2,…,T_Bm为T_B。NMOS管T_P1,T_P2,…,T_Pm为T_P。忆阻器阵列的输入信号XC₁,XC₂,…,XC_m为XC，忆阻器阵列的输出信号YC₁,YC₂,…,YC_n为YC。电荷积累电路的NMOS管T_GF1,T_GF2,…,T_GFn为T_GF，栅极信号S_GF1,S_GF2,…,S_GFn为S_GF,NMOS管T_GB1,T_GB2,…,T_GBn为T_GB,栅极信号S_GB1,S_GB2,…,S_GBn为S_GB。

本发明所给定的输入信号为数字逻辑值X。而传统的电压模忆阻神经网络电路的输入通常是归一化的电压信号，电压幅度大小各异。本发明的输入的数字逻辑值X和归一化的电压信号大小成正比，电压幅度越高，则对应的数字逻辑值越大。脉宽调制电路接受可调时钟源的时钟CLK，将输入的数据X转换为脉宽宽度与X的数据元素大小分别成正比的信号XA，基准脉宽的宽度则可以通过可调时钟源CLK的频率来控制。由于实际的神经网络运算中，权重矩阵的值可能为正，零或负值，但忆阻器属于非线性的无源器件，其阻值M只可能为正值。因此传统的方法往往配置忆阻器阵列和辅助忆阻器阵列，通过两个阵列的信号运算来实现负权重值。

为了有效减小芯片面积，本发明利用极性控制电路来实现负权重值，而无需辅助忆阻器阵列，其基本的原理是将需要实现负权重的对应输入支路电压进行极性反转，从而获得负权重等同的效果。以XA₁和XA₂支路为例，若分别需要实现正和负权重，则比较控制和模拟权重更新电路发出低电平指令Z₁和高电平指令Z₂，低电平Z₁将关断NMOS管T_Jn1，导通PMOS管T_Jp1，高电平Z₂的效果刚好相反，将关断PMOS管T_Jp2，导通NMOS管T_Jn2。因此，XA₁通过T_Jp1后的信号XB₁仍为原来的极性，XA₂则通过T_Jn2以及反向比例运算放大器R_J21,R_J22,R_J20,A₃₂变为反极性的信号XB₂。

编程控制电路实现信号处理和权重编程的切换控制。当信号处理控制矩阵S_IN为低电平,编程控制矩阵S_WP为高电平，同时S_GF和S_GB为高电平时，积累电容阵列C₁,C₂,…,C_n通过NMOS管T_GF和T_GB放电复位，并且编程脉冲P通过晶体管阵列T_P送至忆阻器阵列的XC输入端。此时对忆阻器阵列中的任意忆阻器M_ij的编程只需要将其串联的NMOS TC_ij的栅极S_ij置为高电平即可。当信号处理控制矩阵S_IN为高电平,编程控制矩阵S_WP为低电平，同时复位NMOS管T_GF和T_GB通过低电平S_GF和低电平S_GB的控制断开时，信号XB通过晶体管阵列T_B送入忆阻器阵列XC端,实现信号处理功能。

电荷积累电路对忆阻器阵列的输出信号YC进行电荷积累计算，并将计算结果送至激活函数电路。电荷积累电路的工作模式分为积累电容复位模式和电荷积累模式。积累电容复位模式下，晶体管阵列T_GF通过高电平S_GF，晶体管阵列T_GB通过高电平S_GB，将积累电容阵列C₁,C₂,…,C_n放电复位。值得注意的是，忆阻器阵列的权重编程和积累电容复位可以同步进行，加快了硬件电路的运算速度。当S_GB,S_GF均为低电平时，进入电荷积累模式，忆阻器阵列的输出信号YC通过A₁₁,A₁₂,…,A_1n和积累电容阵列C₁,C₂,…,C_n以及A₂₁,A₂₂,…,A_2n进行电荷积累计算，每列信号分别通过电荷积累电容C₁,…,C_n进行同向或反向积分，若XC的组成元素全部是正极性信号则进行反向积分，否则可能进行同向积分或反向积分，具体取决于忆阻器阵列的列元素的同极性和反极性信号的相对强度。这里对忆阻器的列输出求解的是电流和时间的乘积和，即电荷积累，计算结果Y_f送入激活函数电路。

图3为变脉宽输入电荷积累忆阻神经网络电路的前向信号计算的第k列等效电路图，包括忆阻器M_1k,…,M_mk，放大器A_1k，A_2k，电容C_k，激活函数f_k(x)，其中输入信号XC_m与忆阻器M_mk的正极相连接；忆阻器M_mk的负极连接放大器A_1k的反向输入端及电容C_k的一端；电容C_k的另一端同时连接放大器A_1k的输出及放大器A_2k的同向输入端；放大器A_1k的同向输入端接地；放大器A_2k的反向输入端连接放大器A_2k的输出端，并作为激活函数f_k(x)的输入信号；激活函数f_k(x)的输出信号为Y_k。

根据图3的变脉宽输入电荷积累忆阻神经网络电路的前向信号计算等效电路图，可以知道，系统的传递函数为：

可以看到，公式(1)的XC_j的极性决定了权重M_jm的符号，公式(1)中的列电流求和值

的符号决定了积分的方向，列电流求和值又取决于忆阻器的权重值M和输入值XC。

激活函数电路模拟神经元的激活，激活函数f(x)可以是sigmoid函数，tanh函数，ReLU函数等，具体取决于神经网络电路的应用需求。

比较控制和模拟权重更新电路完成误差计算和权重更迭功能。输出信号Y送到比较控制和模拟权重更新电路，和目标值TAR进行比较，得到误差信号，根据误差信号调整权重。即重新返回权重编程和积累电容复位阶段，然后进行再次循环计算，直至满足最低误差要求为止。图4的电路运行流程图反应了电路的上述工作流程。图5则反应了变脉宽输入电荷积累忆阻神经网络电路在某一时刻的关键节点的波形示意图，这里以X₂支路需要反极性为例进行说明。由于输入信号X各元素的大小取决于实际应用，这里假设输入的数字码D_X2>D_X1>D_Xm。从图5可以看出，和传统的电压模忆阻神经网络不同，这里并不将输入信号变为电压幅度可变的信号，而是以数字逻辑值表示其输入信号的大小，输入信号越大，逻辑值越大，通过脉宽调制电路后的信号XA的脉宽宽度就越宽，显然这里由于D_X2最大，因此对应的XA2脉宽最宽，极性控制电路则根据权重值的正，零和负的要求，变更信号极性，图5是X₂为负极性的情形，通过电荷积累电路后，完成电压的同向或反向积分，图中Y_f2的积分方向和其他路径相反。值得一提的是，即使第k列有图5所示的反极性信号XB₂,Y_f2的积分方向也并非在任何情况下一定和其他路径相反，因为根据图3，公式(1)的列电流求和值的符号才决定了积分的方向。

本发明提出一种变脉宽输入电荷积累型忆阻神经网络电路，所谓的变脉宽输入即将多值或模拟连续神经网络的输入值以变脉宽形式输入，从而易于区分输入的多态值，并且不对输入的值域大小做任何限制，从而有利于神经网络精度的提高。而传统的电压模忆阻神经网络电路的输入值域受限于忆阻器阈值电压，输入值越多，则神经网络的精度越低。本发明通过脉宽调制电路和极性控制电路的变换，将其输入变为脉宽与输入大小成正比的信号，其信号的极性则取决于目标权重的符号。基准脉宽的宽度则可以通过可调时钟源的频率进行调节。然后将忆阻器阵列的列输出通过电容进行同向积分或反向积分，电容上的电荷积累值即忆阻器阵列的矢量矩阵乘法结果。这一方法非常容易地在忆阻器和CMOS构成的混合电路上实现正，零或负的权重。无需像传统的电压模忆阻神经网络电路那样通常需要两个忆阻器阵列。这一方法显著地节省了芯片面积。忆阻器阵列的权重编程和积累电容复位可以同步进行，从而加快了硬件电路的运算速度。

需要说明的是，尽管以上本发明所述实施例是说明性的，但这并非是对本发明的限制，因此本发明并不局限于上述具体实施方式中。在不脱离本发明原理的情况下，凡是本领域技术人员在本发明的启示下获得的其它实施方式，均视为在本发明的保护之内。

如对于2层以上(包括2层)的多层变脉宽输入电荷积累型忆阻神经网络电路，其主要由1个比较控制与模拟权重更新电路和S个神经网络电路组成。其中S为神经网络电路的层数。

(1)神经网络电路

每一层神经网络电路均由可调时钟源、脉宽调制电路、极性控制电路、编程控制电路、忆阻器阵列、电荷积累电路和激活函数电路。其中第一层神经网络电路的输入端(即脉宽调制电路的输入端)形成整个神经网络电路的总的输入端；第一层神经网络电路的输出端(即激活函数电路的输出端)连接第二层神经网络电路的输入端(即脉宽调制电路的输入端)；第二层神经网络电路的输出端(即激活函数电路的输出端)连接第三层神经网络电路的输入端(即脉宽调制电路的输入端)；……；最后一层神经网络电路的输出端(即激活函数电路的输出端)形成整个神经网络电路的总的输出端。

关于多层神经网络每层的规模(即每一层忆阻器阵列的输入端和输出端的个数)，取决于神经网络本身的类型和应用领域。第一层忆阻器阵列的输入端数目与给定的整个神经网络的输入端数目相同，最后一层忆阻器阵列的输出端数目与给定的整个神经网络的输出端数目相同，但第一层忆阻器阵列的输出端的数目、中间层忆阻器阵列的输入端和输出端的数目、以及最后一层忆阻器阵列的输入端的数目却存在一定的相互制约关系，即前一层忆阻器阵列的输出端数目等于后一层忆阻器阵列的输入端数目。以三层忆阻神经网络的忆阻器阵列模块为例，假设第一层的输入数是m₁，输出数是n₁，第二层的输入数是m₂，输出是n₂，第三层的输入数是m₃，输出数是n₃，由于前一层神经元的输出是后一层神经元的输入，因此m₂＝n₁，m₃＝n₂，第一层忆阻器个数为m₁×n₁，第二层忆阻器个数为n₁×n₂，第三层忆阻器个数为n₂×n₃。

考虑到成本和电路的简化等因素，所有神经网络层的可调时钟源可以共用，不管是数控脉宽调制电路还是模拟脉宽调制电路，均通过可调时钟源CLK的频率来控制基准脉宽的宽度。此外，由于总输入信号为数字信号，即第一层的输入为数字信号，因此第一层神经网络电路所选用的脉宽调制电路是数控脉宽调制电路。由于第一层至最后一层神经网络电路的输出信号均为模拟信号，即第二层至最后一层神经网络电路的输入为模拟信号，因此第二层至最后一层神经网络电路所选用的脉宽调制电路是模拟脉宽调制电路。

(2)比较控制与模拟权重更新电路

基于误差控制原理，所有神经网络层的比较控制与模拟权重更新电路必须是共用的。比较控制与模拟权重更新电路外部给定的目标值信号，以及每一层神经网络电路的极性控制电路、编程控制电路、忆阻器阵列、电荷积累电路和激活函数电路连接。随着神经网络层数的增加，比较控制和模拟权重更新电路连接到各层的控制信号会成倍增加。具体来说：

比较控制与模拟权重更新电路的TAR信号输入端个数与最后一层神经网络电路的输出端数量相同，其与给定的目标值信号相连。

比较控制与模拟权重更新电路的Z信号输出端个数为

其分别连接各层神经网络电路的极性控制电路的m_s个第二输入端。

比较控制与模拟权重更新电路的P信号输出端个数为

其分别连接各层神经网络电路的编程控制电路的m_s个第二输入端，比较控制与模拟权重更新电路的S_IN信号输出端个数为

其分别连接各层神经网络电路的编程控制电路的m_s个第三输入端，比较控制与模拟权重更新电路的S_WP信号输出端个数为

其分别连接各层神经网络电路的编程控制电路的m_s个第四输入端。

比较控制与模拟权重更新电路的S信号输出端个数为

其分别连接各层神经网络电路的忆阻器阵列的m_s×n_s个控制端。

比较控制与模拟权重更新电路的S_GF信号输出端个数为

其分别连接各层神经网络电路的电荷积累电路的n_s个第二输入端，比较控制与模拟权重更新电路的S_GB信号输出端个数为

其分别连接各层神经网络电路的电荷积累电路的n_s个第三输入端。

比较控制与模拟权重更新电路的Y信号输入端个数为

其分别连接各层神经网络电路的激活函数电路的n_s个输出端。

其中m_s为第s层神经网络电路的输入端数目；n_s为第s层神经网络电路的输出端的数目，s＝1,2,…,S，S为神经网络的层数。

Claims (7)

1.一种变脉宽输入电荷积累型忆阻神经网络电路，包括比较控制与模拟权重更新电路和至少一层神经网络电路，其特征是，

每一层神经网络电路均包括可调时钟源、脉宽调制电路、极性控制电路、编程控制电路、忆阻器阵列、电荷积累电路和激活函数电路；可调时钟源的输出端连接脉宽调制电路的时钟输入端；脉宽调制电路的m_s个输入端形成本层神经网络电路的m_s个输入端，脉宽调制电路的m_s个输出端连接极性控制电路的m_s个第一输入端；极性控制电路的m_s个输出端连接编程控制电路的m_s个第一输入端；编程控制电路的m_s个输出端连接忆阻器阵列的m_s个输入端；忆阻器阵列的n_s个输出端连接电荷积累电路的n_s个第一输入端，电荷积累电路的n_s个输出端连接激活函数电路的n_s个输入端，激活函数电路的n_s个输出端形成本层神经网络电路的n_s个输出端；

第一层神经网络电路的脉宽调制电路的输入端形成整个变脉宽输入电荷积累型忆阻神经网络电路的总的输入端；前一层神经网络电路的激活函数电路的输出端连接后一层神经网络电路的脉宽调制电路的输入端；最后一层神经网络电路的激活函数电路的输出端形成整个变脉宽输入电荷积累型忆阻神经网络电路的总的输出端；

比较控制与模拟权重更新电路的TAR信号输入端个数与最后一层神经网络电路的输出端数量相同，其与给定的目标值信号相连；比较控制与模拟权重更新电路的Z信号输出端个数为

其分别连接各层神经网络电路的极性控制电路的m_s个第二输入端；比较控制与模拟权重更新电路的P信号输出端个数为

其分别连接各层神经网络电路的编程控制电路的m_s个第二输入端，比较控制与模拟权重更新电路的S_IN信号输出端个数为

其分别连接各层神经网络电路的编程控制电路的m_s个第三输入端，比较控制与模拟权重更新电路的S_WP信号输出端个数为

其分别连接各层神经网络电路的编程控制电路的m_s个第四输入端；比较控制与模拟权重更新电路的S信号输出端个数为

其分别连接各层神经网络电路的忆阻器阵列的m_s×n_s个控制端；比较控制与模拟权重更新电路的S_GF信号输出端个数为

其分别连接各层神经网络电路的电荷积累电路的n_s个第二输入端，比较控制与模拟权重更新电路的S_GB信号输出端个数为

其分别连接各层神经网络电路的电荷积累电路的n_s个第三输入端；比较控制与模拟权重更新电路的Y信号输入端个数为

其分别连接各层神经网络电路的激活函数电路的n_s个输出端；

其中m_s为第s层神经网络电路的输入端数目；n_s为第s层神经网络电路的输出端的数目，s＝1,2,…,S，S为神经网络的层数。

2.根据权利要求1所述的一种变脉宽输入电荷积累型忆阻神经网络电路，其特征是，各层神经网络电路共用同一个可调时钟源。

3.根据权利要求1所述的一种变脉宽输入电荷积累型忆阻神经网络电路，其特征是，第一层神经网络电路的脉宽调制电路为数控脉宽调制电路，第二层至最后一层的脉宽调制电路为模拟脉宽调制电路。

4.根据权利要求1所述的一种变脉宽输入电荷积累型忆阻神经网络电路，其特征是，所述极性控制电路由m_s路极性控制单元组成；

其中每路极性控制单元均包括PMOS管T_Jpi，NMOS管T_Jni，电阻R_Ji0-R_Ji2，以及放大器A_3i；PMOS管T_Jpi的漏极和NMOS管T_Jni的漏极相连后，形成极性控制电路的第i个第一输入端；PMOS管T_Jpi的栅极和NMOS管T_Jni的栅极相连后，形成极性控制电路的第i个第二输入端；NMOS管T_Jni的源极经由电阻R_Ji1连接放大器A_3i的反向输入端；PMOS管T_Jpi的源极分为两路，一路经由电阻R_Ji2连接放大器A_3i的反向输入端，另一路连接放大器A_3i的输出端；电阻R_Ji0的一端连接放大器A_3i的同向输入端，另一端接地；放大器A_3i的输出端形成极性控制电路的第i个输出端；

其中i＝1,2,…,m_s，m_s为第s层神经网络电路的输入端数目。

5.根据权利要求1所述的一种变脉宽输入电荷积累型忆阻神经网络电路，其特征是，所述编程控制电路由m_s路编程控制单元组成；

其中每路编程控制单元均包括NMOS管T_Bi、T_Pi；NMOS管T_Bi的漏极形成编程控制电路的第i个第一输入端；NMOS管T_Pi的漏极形成编程控制电路的第i个第二输入端；NMOS管T_Bi的源极和NMOS管T_Pi的源极相连后，形成编程控制电路的第i个输出端；NMOS管T_Bi的栅极形成编程控制电路的第i个第三输入端；NMOS管T_Pi的栅极形成编程控制电路的第i个第四输入端；

其中i＝1,2,…,m_s，m_s为第s层神经网络电路的输入端数目。

6.根据权利要求1所述的一种变脉宽输入电荷积累型忆阻神经网络电路，其特征是，所述电荷积累电路包括n_s路电荷积累单元；

每路电荷积累单元均包括NMOS管T_GFj、T_GBj，放大器A_1j、A_2j，以及电容C_j；

NMOS管T_GFj的漏极和放大器A_1j的反向输入端相连后，形成电荷积累电路的第j个第一输入端；NMOS管T_GFj的栅极形成电荷积累电路的第j个第二输入端；电容C_j的一端连接放大器A_1j的反向输入端，另一端连接放大器A_1j的输出端；放大器A_1j的输出端、放大器A_2j的同向输入端和NMOS管T_GBj的漏极相连；NMOS管T_GBj的栅极形成电荷积累电路的第j个第三输入端；放大器A_2j的反向输入端和输出端相连后，形成电荷积累电路的第j个输出端；放大器A_1j的同向输入端、NMOS管T_GFj的源极和NMOS管T_GBj的源极接地；

其中j＝1,2,…,n_s，n_s为第s层神经网络电路的输出端的数目。

7.根据权利要求1所述的一种变脉宽输入电荷积累型忆阻神经网络电路，其特征是，所述激活函数电路由n_s路激活函数单元组成；

每路激活函数单元的输入端形成激活函数电路的第j个输入端，每路激活函数单元的输出端形成激活函数电路的第j个输出端；

其中j＝1,2,…,n_s，n_s为第s层神经网络电路的输出端的数目。

Images