CN111460365A - 一种基于忆阻线性神经网络的方程组求解器及其操作方法 - Google Patents

Abstract

本发明公开了一种基于忆阻线性神经网络的方程组求解器及其操作方法，求解器包括数模转换模块，忆阻器阵列，电流减法电路，模数转换模块，比较模块和电导调制模块，忆阻器作为神经网络的神经突触，执行模拟式矢量‑矩阵乘法操作，完成忆阻线性神经网络的训练过程，最终求解方程组。本发明在求解神经网络的训练过程中求解了系数矩阵的矩阵逆，在求解微分方程时，仅需一次训练过程，即可通过迭代将数值解扩展到整个时域上，减少了电路复杂度，减少了一次数据传输的过程，降低了电路功耗，同时相比起传统的利用计算机求解线性方程组的过程，采用该电路可有效降低时间复杂度，实现存储与计算的融合，大幅节约运算能耗和时间，可靠性高。

Description

一种基于忆阻线性神经网络的方程组求解器及其操作方法

技术领域

本发明属于模拟电路领域，更具体地，涉及一种基于忆阻线性神经网络的方程组求解器及其操作方法。

背景技术

线性方程组是诸多实际问题的基本数学模型，而同时，诸多的难以得到解析解的微分方程可以通过有限差分法转化为线性方程组得到微分方程的数值解，这进一步扩展了微分方程的应用范围，因此需要一种高效，迅速的线性方程组求解系统来满足实际应用的需要。

传统的线性方程组求解系统基于冯·诺依曼计算机架构，这种存储器与计算器分离的计算架构在进行求解计算时，数据在处理器与存储器之间频繁传输，造成了巨大的功耗与延时，而传统的求解线性方程组的数学方法诸如高斯消元法、雅克比行列式迭代法等因其求解过程中需要反复进行迭代操作，在系数矩阵规模巨大时，这个问题变得愈发严重，因此迫切需要一种新型的计算架构和运算方法来解决这个问题。

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种基于忆阻线性神经网络的方程组求解器及其操作方法，采用了神经网络的思想，以解决现有数学方法与运算电路存在的延时高、功耗高的问题。

为实现上述目的，按照本发明的一方面，提供了一种基于忆阻线性神经网络的方程组求解器，包括一个数模转换模块，一个忆阻器阵列，n个电流减法电路，一个模数转换模块，一个比较模块和一个电导调制模块；数模转换将输入的数字量转换为电压矢量作为所述忆阻器阵列的输入；忆阻器阵列利用忆阻器存储的电导值输出电流；电流减法电路依次连接在忆阻器阵列的列输出线上，将输入到其上的两列输出电流相减，并将相减后的输出电流转换为电压；模数转换模块将所述电流减法电路输出的电压量转换为相应的数字量；比较模块将所述模数转换模块输出的数字量与目标值相比较，并计算误差，确定需要调整的忆阻线性神经网络的权重值并反馈给电导调制模块；电导调制模块将所述需要调整的忆阻线性神经网络的权重值转换为需要调制的电导值，并利用电脉冲调制忆阻器阵列中对应的电导值；调整后的忆阻线性神经网络的权重值代表系数矩阵的逆矩阵，从而求得目标矢量下的解。

其中，忆阻器阵列为十字交叉结构，忆阻器件处于电极线的交叉点上，所述忆阻器阵列大小为n×2n规格，适用于n×n规模的非奇异系数矩阵的线性方程组的求解；n为大于等于2的正整数。忆阻器具有多阶可调制电导，可以作为神经网络的神经突触使用，可以执行模拟式矢量-矩阵乘法操作，因此忆阻器阵列可以加速神经网络的训练过程。同时由于神经网络的权值存储在忆阻器阵列里，基于忆阻器阵列的模拟式矢量-矩阵乘法运算是存算一体的，具有电路面积小，功耗低的特点。

进一步地，电流减法电路包括两个跨阻放大器和一个电压减法器，跨阻放大器将电流转换为等比例电压，电压减法器完成电压相减。

进一步地，忆阻线性神经网络不含任何隐藏层，仅含有输入层和输出层，且输入和输出关系为O＝∑I·W，其中O为输出，W为忆阻线性神经网络的权重值，I为输入。

按照本发明的另一方面，提供了一种线性方程求解器的操作方法，包括以下步骤：

S1.确定需要求解的线性方程组的系数矩阵，并保证系数矩阵非奇异，将系数矩阵作为忆阻线性神经网络的训练集，将与系数矩阵同维度的单位矩阵作为忆阻线性神经网络的训练目标，设置忆阻线性神经网络的训练精度，设置忆阻线性神经网络的学习率；

S2.将系数矩阵输入线性方程组求解器，系数矩阵先经过数模转换器转换为电压量并被施加在忆阻器阵列的行输入端上，经由忆阻器阵列执行矢量矩阵乘法并在忆阻器阵列的列输出端得到电流量，电流量经过电流减法电路和模数转换器转换为数值矩阵；

S3.将S2得到的数值矩阵与单位矩阵比较，若误差大于S1设置的训练精度，则将误差转换为需要调整的权重值并输入到电导调制模块；若误差小于等于S1设置的训练精度，则结束忆阻线性神经网络的训练过程；误差定义方法为：

其中，D为目标矢量，B为输出矢量；

权值更新方法为：

其中，η为学习率，б_i为忆阻器阵列第i个输出端口的输出误差；

电导与权值直接的映射关系为：

W＝α(G₊-G_{_})

其中G+为电流减法电路正向输入端上的器件，G-电流减法电路负向输入端上的器件，ɑ为线性系数；

S4.电导调制模块将S3输入的数值转换为需要调整的电导值并利用脉冲信号调制忆阻器阵列相应位置的忆阻器的电导值；

S5.重复步骤S2至S4，直到误差小于等于S1设置的训练精度，完成忆阻线性神经网络的训练过程；

S6.将线性方程组AX＝b的目标矢量b输入求解器，经由数模转换器转换为电压量并施加在忆阻器阵列的行输入端上，经由忆阻器阵列执行矢量矩阵乘法并在忆阻器阵列的列输出端得到电流量，电流量经过模数转换器转换为数值量，该数值量即为线性方程组AX＝b的解X。

进一步地，由于微分方程系统可利用有限差分的方式离散为线性方程组，该求解器也可用于求解微分方程。

更进一步地，由于任意的同维度的微分方程的离散系数矩阵相同，该方程求解器仅需经历一次训练过程即可针对多个方程进行求解。

更进一步地，由于时变偏微分方程在时间变化的过程中系数矩阵不发生改变，该方程求解器仅需一次训练过程即可用于求解时变偏微分方程。

通过本发明所构思的以上技术方案，与现有技术相比，本发明在进行线性方程组求解时使用上述求解器，该求解器基于忆阻神经网络的特性，由于忆阻器具有高速、低功耗、易集成以及与CMOS工艺相兼容等优点，其具有多级电导调控特性，可以通过电导存储运算用的数据矩阵，以实现矢量-矩阵乘法，本发明在求解神经网络的训练过程中求解了系数矩阵的矩阵逆，在求解微分方程时，仅需一次训练过程，即可通过迭代将数值解扩展到整个时域上，减少了电路复杂度，减少了一次数据传输的过程，降低了电路功耗，同时相比起传统的利用计算机求解线性方程组的过程，采用该电路可有效降低时间复杂度，实现存储与计算的融合，大幅节约运算能耗和时间，可靠性高。

附图说明

图1是本发明提供的基于忆阻器的忆阻器阵列结构示意图；

图2是本发明提供的忆阻器阵列执行矢量-乘法的操作方式示意图；

图3是本发明提供的基于忆阻器的线性方程组求解器的求解流程示意图；

图4是本发明提供的线性神经网络结构示意图和忆阻器阵列实现方式示意图；

图5是本发明提供的电流减法电路的结构示意图；

图6是本发明实施例一提供的基于忆阻器的线性方程组求解器的系数矩阵求逆过程示意图；

图7是本发明实施例二提供的基于忆阻器的线性方程组求解器的求解过程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间不构成冲突就可以相互组合。

图1为本发明使用的忆阻器阵列结构示意图，包括一个数模转换模块，一个忆阻器阵列，n个电流减法电路，一个模数转换模块，一个比较模块和一个电导调制模块；数模转换将输入的数字量转换为电压矢量作为所述忆阻器阵列的输入；忆阻器阵列利用忆阻器存储的电导值输出电流；电流减法电路依次连接在忆阻器阵列的列输出线上，将输入到其上的两列输出电流相减，并将相减后的输出电流转换为电压；模数转换模块将所述电流减法电路输出的电压量转换为相应的数字量；比较模块将所述模数转换模块输出的数字量与目标值相比较，并计算误差，确定需要调整的忆阻线性神经网络的权重值并反馈给电导调制模块；电导调制模块将所述需要调整的忆阻线性神经网络的权重值转换为需要调制的电导值，并利用电脉冲调制忆阻器阵列中对应的电导值；调整后的忆阻线性神经网络的权重值代表系数矩阵的逆矩阵，从而求得目标矢量下的解。

该忆阻器阵列为十字交叉结构，具有多阶可调电导特征的忆阻器处于阵列的十字交叉点上，该阵列为2n×n规格，其中每相邻两列构成一个差动对，用于实现神经网络的负权值，差动对中左侧一列为“+”右侧一列为“-”，该忆阻器阵列具有一个行输入端和一个列输出端，分别输入电压信号输出电流信号。

具体地，电流减法电路包括两个跨阻放大器和一个电压减法器，跨阻放大器将电流转换为等比例电压，电压减法器完成电压相减。

具体地，忆阻线性神经网络不含任何隐藏层，仅含有输入层和输出层，且输入和输出关系为O＝∑I·W，其中O为输出，W为忆阻线性神经网络的权重值，I为输入。

图2为本发明使用的忆阻器阵列执行矢量-矩阵乘法操作的示意图，在执行矢量-矩阵乘法操作时，将数值矢量映射为电压矢量施加在忆阻器阵列的输入端，将矩阵映射为电导存储在忆阻器阵列中，设矩阵为A，则A中的元素为a_mn，则矩阵元素在忆阻阵列中的存储方式为

根据欧姆定律，i＝u·g，即对于忆阻阵列中的每一个单元都会得到一个电流量，而根据基尔霍夫电流定律，阵列的每一列的输出电流是这一列上每一个单元的电流之和，则每一列的输出电流为

由此可在列线上得到一系列输出的电流，这些电流就构成了电流矢量，由此，忆阻阵列完成了一次基于模拟量的矢量矩阵乘法。

图3为本发明执行线性方程组求解和偏微分方程求解的流程图，包括以下步骤：

S1.确定需要求解的线性方程组的系数矩阵，并保证系数矩阵非奇异，将系数矩阵作为忆阻线性神经网络的训练集，将与系数矩阵同维度的单位矩阵作为忆阻线性神经网络的训练目标，设置忆阻线性神经网络的训练精度，设置忆阻线性神经网络的学习率；

S2.将系数矩阵输入线性方程组求解器，系数矩阵先经过数模转换器转换为电压量并被施加在忆阻器阵列的行输入端上，经由忆阻器阵列执行矢量矩阵乘法并在忆阻器阵列的列输出端得到电流量，电流量经过电流减法电路和模数转换器转换为数值矩阵；

S3.将S2得到的数值矩阵与单位矩阵比较，若误差大于S1设置的训练精度，则将误差转换为需要调整的权重值并输入到电导调制模块；若误差小于等于S1设置的训练精度，则结束忆阻线性神经网络的训练过程；

S4.电导调制模块将S3输入的数值转换为需要调整的电导值并利用脉冲信号调制忆阻器阵列相应位置的忆阻器的电导值；

S5.重复步骤S2至S4，直到误差小于等于S1设置的训练精度，完成忆阻线性神经网络的训练过程；

S6.将线性方程组AX＝b的目标矢量b输入求解器，经由数模转换器转换为电压量并施加在忆阻器阵列的行输入端上，经由忆阻器阵列执行矢量矩阵乘法并在忆阻器阵列的列输出端得到电流量，电流量经过模数转换器转换为数值量，该数值量即为线性方程组AX＝b的解X。

在进行求解前需要确定待求解的线性方程组AX＝b，保证系数矩阵A为非奇异矩阵，然后，搭建基于忆阻器阵列的线性神经网络，网络大小与系数矩阵A的维度相同，网络搭建好后设置网络训练参数，一般推荐网络学习率为0.015，训练精度0.0001，将线性方程组系数矩阵A作为训练集，将与A同维度的单位矩阵作为网络的训练目标。完成训练后，网络的权值矩阵即为A的逆矩阵，在将矢量b作为训练好的神经网络的输入，则得到的输出就是该线性方程组的解X，若需要求解微分方程，则需要将微分方程转换为线性方程组后输入网络。

图4为本发明所使用的线性神经网络结构示意图和忆阻器阵列实现方式，线性神经网络不含有隐藏层仅含有输入输出层，且网络的输入输出关系为O＝∑I·W，其形式恰好为矢量-矩阵乘法的形式，因此一个线性神经网络的权连接层可由单个忆阻器阵列实现，网络权值与本发明使用的忆阻器阵列直接的映射关系为W＝α(G⁺-G^-)，其中α为线性系数。

图5为本发明使用的电流减法电路的结构示意图，如左图所示，考虑到电压型模拟-数字转换器比电流型模拟-数字转换器更易于实习，电流减法器的主要作用为将一个差动对里编号为“+”的列的输出电流I+与编号为“-”的列的输出电流“I^-”相减后转换为电压输出。同时考虑到电压减法电路比电流减法电路更易于实现，本发明提供的电流减法电路现将电流I⁺与I^-转换为电压再进行电压减法，本发明使用跨阻放大器实现电流-电压转换，跨阻放大器的输入/输出关系为V＝-R1·I，电压减法电路的输入/输出关系为

选取R1＝1KΩ，R2＝R3＝1KΩ可以等比例的完成电流减法与电压电流转换。

图6为本发明实施例1，利用基于忆阻阵列求解线性方程组的整体架构与网络训练过程，确定网络大小并设置好线性神经网络的训练参数后，首先，线性方程组系数矩阵A通过数模转换模块转换为电压矢量并施加在忆阻器阵列的输入端上，进行模拟式矢量-矩阵乘法在忆阻阵列的输出端得到电流矢量，电流矢量经过电流减法电路完成相减并转换为电压矢量进入模数转换模块，转换为数字量并输入比较模块，比较模块将输出结果与单位矩阵相比较确定误差，误差计算方程为

并将误差输入到电导调制模块，电导调制模块确定需要调制的权值量Δw，其中

并通过如前所述的权值映射方式确定需要调制的电导值，利用电压脉冲调制忆阻器阵列中相应位置的忆阻器的权值。重复上述过程直到误差小于所设置的训练精度，则训练成功，忆阻阵列此时存储的网络权值即为系数矩阵A的逆矩阵A^-1。

图7为本发明实施例2，利用基于忆阻器阵列求解线性方程组的求解过程，在完成网络训练过程后，因为A·A^-1＝I，所以忆阻阵列存储的网络权值即为A^-1，又对于AX＝b有X＝b·A^-1，因此将矢量b输入求解器，b经过数模转换模块转换为模拟量，进行矢量-矩阵乘法后得到的电流矢量经过电流减法电路和模数转换器得到的数值矢量即使是线性方程组AX＝b的解X。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于忆阻线性神经网络的方程组求解器，其特征在于，包括一个数模转换模块，一个忆阻器阵列，n个电流减法电路，一个模数转换模块，一个比较模块和一个电导调制模块；所述数模转换将输入的数字量转换为电压矢量作为所述忆阻器阵列的输入；所述忆阻器阵列利用忆阻器存储的电导值输出电流；所述电流减法电路依次连接在所述忆阻器阵列的列输出线上，将输入到其上的两列输出电流相减，并将相减后的输出电流转换为电压；所述模数转换模块将所述电流减法电路输出的电压量转换为相应的数字量；所述比较模块将所述模数转换模块输出的数字量与目标值相比较，并计算误差，确定需要调整的忆阻线性神经网络的权重值并反馈给电导调制模块；所述电导调制模块将所述需要调整的忆阻线性神经网络的权重值转换为需要调制的电导值，并利用电脉冲调制忆阻器阵列中对应的电导值；调整后的忆阻线性神经网络的权重值代表系数矩阵的逆矩阵，从而求得目标矢量下的解；

其中，n为大于等于2的正整数。

2.根据权利要求1所述的方程组求解器，其特征在于，所述忆阻器阵列为十字交叉结构，忆阻器件处于电极线的交叉点上，所述忆阻器阵列大小为n×2n规格，适用于n×n规模的非奇异系数矩阵的线性方程组的求解。

3.根据权利要求1所述的方程组求解器，其特征在于，所述电流减法电路包括两个跨阻放大器和一个电压减法器，跨阻放大器将电流转换为等比例电压，电压减法器完成电压相减。

4.根据权利要求1所述的方程组求解器，其特征在于，所述忆阻线性神经网络不含任何隐藏层，仅含有输入层和输出层，且输入和输出关系为O＝∑I·W，其中O为输出，W为忆阻线性神经网络的权重值，I为输入。

5.一种基于权利要求1至4所述的线性方程求解器的操作方法，其特征在于，包括以下步骤：

S1.确定需要求解的线性方程组的系数矩阵，并保证系数矩阵非奇异，将系数矩阵作为忆阻线性神经网络的训练集，将与系数矩阵同维度的单位矩阵作为忆阻线性神经网络的训练目标，设置忆阻线性神经网络的训练精度，设置忆阻线性神经网络的学习率；

S2.将系数矩阵输入线性方程组求解器，系数矩阵先经过数模转换器转换为电压量并被施加在忆阻器阵列的行输入端上，经由忆阻器阵列执行矢量矩阵乘法并在忆阻器阵列的列输出端得到电流量，电流量经过电流减法电路和模数转换器转换为数值矩阵；

S3.将S2得到的数值矩阵与单位矩阵比较，若误差大于S1设置的训练精度，则将误差转换为需要调整的权重值并输入到电导调制模块；若误差小于等于S1设置的训练精度，则结束忆阻线性神经网络的训练过程；

S4.电导调制模块将S3输入的数值转换为需要调整的电导值并利用脉冲信号调制忆阻器阵列相应位置的忆阻器的电导值；

S5.重复步骤S2至S4，直到误差小于等于S1设置的训练精度，完成忆阻线性神经网络的训练过程；

S6.将线性方程组AX＝b的目标矢量b输入求解器，经由数模转换器转换为电压量并施加在忆阻器阵列的行输入端上，经由忆阻器阵列执行矢量矩阵乘法并在忆阻器阵列的列输出端得到电流量，电流量经过模数转换器转换为数值量，该数值量即为线性方程组AX＝b的解X。

6.根据权利要求5所述的操作方法，其特征在于，S3中误差定义方法为：

其中，D为目标矢量，B为输出矢量。

7.根据权利要求5所述的操作方法，其特征在于，权值更新方法为：

其中，η为学习率，б_i为忆阻器阵列第i个输出端口的输出误差。

Images