CN109063826A - 一种基于忆阻器的卷积神经网络实现方法 - Google Patents

Abstract

本发明公开了一种基于忆阻器的卷积神经网络实现方法，包括制备由卷积+池化层与全连接层构成的待训练的卷积神经网络，并输入训练集图像信息，得到全连接层输出值；根据待训练的卷积神经网络的全连接层输出值与标准信息的偏差，利用反向传播函数对待训练的卷积神经网络进行训练；当达到训练次数时，判定训练精度是否达标，若不达标则对训练后的卷积神经网络进行再次训练，直至精度达标；获得所需卷积神经网络等步骤。其显著效果是：在硬件上减少了对精度和制备难度、时间的影响；实现了更高级的多层卷积神经网络；不易受到硬件噪声、制备难度和时间的影响，在应用复杂化后能够表现出更强的适应能力。

Description

一种基于忆阻器的卷积神经网络实现方法

技术领域

本发明涉及到人工智能与材料科学技术领域，具体地说，是一种基于忆阻器的卷积神经网络实现方法。

背景技术

忆阻器(Memristor)是一种表示磁通与电荷关系的电路器件(dρ＝Mdq)，具有电阻的量纲，其阻值由流经它的电荷所决定。通过测定忆阻的阻值，便可知道流经它的电荷量，从而有记忆电荷的作用。忆阻器的阻变特性被认为类似于大脑神经元中的突触。而经研究表明，人脑是一个由数十亿个神经元组成的网络，通过约10¹⁵个突触连接进行交流。人类的认知能力是由在这个巨大的网络中进行的计算所产生的，很多基础的认知反应是由经验形成的，因为学习推动了突触之间联系强度的变化。对于忆阻器而言，若让电荷以一个方向流过，电阻会增加；让电荷以另一个方向流动，电阻就会减小。可见忆阻器记忆电阻的强度与突触之间联系强度可以形成对应关系。

由于忆阻器类突触的特性，将神经网络计算与忆阻器相结合，可以使负责数据存储和处理的单元融合在一起，大幅提升数据传输和处理的并行度。近年来，研究人员针对神经网络计算在忆阻器上的实现进行了大量研究。M.Prezioso等在12×12的忆阻器阵列上，利用单层反向传播基础神经网络，实现了对27个3×3二进制图像“z”、“v”、“n”的分类(参见文献“Training and operation of an integrated neuromorphic network based onmetal-oxide memristors”，发表于Nature，2015年第521卷第7550期)。P.Yao等在128×8的忆阻器阵列上，同样利用反向传播基础神经网络，实现了对320像素灰度图像人脸的分类，相比M.Prezioso等的研究，提高了忆阻器阵列的规模与处理图像的像素上限(参见文献“Face classification using electronic synapses”，发表于Nature Communications，2017年第8期)。

然而，上述方法虽然能够在忆阻器阵列上实现神经网络，并应用于简单分类，但实现的神经网络较为基础，并且忆阻器阵列排列方式唯一。在这种排列方式下，忆阻器阵列的规模随着应用的复杂化而急剧上升，不仅成倍地增加了制备的难度和时间，也使硬件串扰所带来的噪声更为严重，影响精度。

由此可见，亟需一种精度、制备难度和时间对于应用的复杂化程度不敏感，且能够实现更高级神经网络(基础神经网络的变体)的基于忆阻器的卷积神经网络实现方法。

发明内容

针对现有技术的不足，本发明的目的是提供一种基于忆阻器的卷积神经网络实现方法，以较好地在应用复杂化后，减少对精度和制备难度、时间的影响，同时实现更高级的神经网络。

为达到上述目的，本发明采用的技术方案如下：

一种基于忆阻器的卷积神经网络实现方法，其具体步骤为：

步骤1：制备由卷积+池化层与全连接层构成的待训练的卷积神经网络，并输入训练集图像信息，得到全连接层输出值；

步骤2：根据待训练的卷积神经网络的全连接层输出值与标准信息的偏差，利用反向传播函数对待训练的卷积神经网络进行训练；

步骤3：当达到训练次数时，判定训练精度是否达标，若不达标则对训练后的卷积神经网络进行再次训练，直至精度达标；

步骤4：获得所需卷积神经网络。

进一步的，所述待训练的卷积神经网络的制备过程如下：

步骤1-1：制备基础忆阻器阵列；

步骤1-2：采用基础忆阻器阵列制备卷积+池化层忆阻器阵列，通过每一列的输入口输入训练集图像信息，得到卷积+池化层输出值；

步骤1-3：采用基础忆阻器阵列制备全连接层忆阻器阵列，且该全连接层忆阻器阵列的输入口个数与卷积+池化层忆阻器阵列的基础忆阻器阵列个数一致，得到待训练的卷积神经网络。

进一步的，所述基础忆阻器阵列由多个忆阻器按a*a矩阵形式排列而成，其中a为大于0的整数。

进一步的，所述基础忆阻器阵列由9个忆阻器按3*3矩阵形式排列而成。

进一步的，所述卷积+池化层忆阻器阵列由多个基础忆阻器阵列按b*b矩阵形式排列而成，所述全连接层忆阻器阵列由多个基础忆阻器阵列按p*q矩阵形式排列而成，其中b、p、q为互不相等的大于零的整数。

进一步的，所述卷积+池化层忆阻器阵列由81个基础忆阻器阵列按9*9矩阵形式排列而成，所述全连接层忆阻器阵列由108个基础忆阻器阵列按27*4矩阵形式排列而成。

进一步的，所述训练次数不少于一千次。

本发明首先将多个基础忆阻器阵列以矩阵方式排列构成卷积+池化层忆阻器阵列，通过每一列的每个输入口输入图像信息，分别得到各个基础忆阻器阵列的电流和即卷积+池化层输出信息，作为下一层特征输入信息；然后将多个基础忆阻器阵列以矩阵方式排列构成全连接层忆阻器阵列，通过第一列每个输入口输入卷积+池化层输出信息，对输入的特征进行处理后分别得到每一列的电流和，其中电流和最大的一列的列标识作为输出信息；接着在训练模式下，利用输出信息与标准信息求得偏差，根据偏差利用反向传播函数结合V_set电压脉冲序列减小权重(即忆阻器电阻值)，V_reset电压脉冲序列增大权重，对所得的待训练的卷积神经网络进行训练；若精度达标则获得训练好的可以直接使用的卷积神经网络，若精度未达标则对卷积神经网络进行再次训练，再次训练可以采用两种方案，即增加训练次数或改变反向传播函数中的学习因子，从而对精度进行改善，直至获得所需精度的卷积神经网络。

本发明的显著效果是：利用小规模忆阻器阵列作为基础阵列，然后以一定方式进行排列构成大的处理阵列，在硬件上减少了对精度和制备难度、时间的影响；同时采取两层处理阵列以及卷积+池化层的小规模忆阻器阵列电流和作为输出，硬件实现了更高级的多层卷积神经网络；与传统的基于忆阻器的神经网络实现方法相比，本发明方法实现了更高级的神经网络，不易受到硬件噪声、制备难度和时间的影响，在应用复杂化后能够表现出更强的适应能力。

附图说明

图1是本发明的方法流程图；

图2是所述基础忆阻器阵列的排布示意图；

图3是所述卷积+池化层忆阻器阵列的排布示意图；

图4是所述全连接层忆阻器阵列的排布示意图；

图5是训练次数分别为2000、4000、6000次的卷积神经网络对10个不同形状的识别精度图。

具体实施方式

下面结合附图对本发明的具体实施方式以及工作原理作进一步详细说明。

如图1所示，一种基于忆阻器的卷积神经网络实现方法，具体实现步骤如下：

步骤1：制备由卷积+池化层与全连接层构成的待训练的卷积神经网络，并输入训练集图像信息，得到全连接层输出值，所述卷积+池化层的功能是为全连接层提供特征输入；所述全连接层的功能是对输入的特征进行处理并提供输出结果；

其中，待训练的卷积神经网络的制备过程如下：

首先进入步骤1-1：制备3×3大小的基础忆阻器阵列，即将9个忆阻器按每行3个、每列3个(即a＝3)的矩阵形式排列在一个集成芯片上，也即9个忆阻器结合cmos和晶体管等排列在3行3列的交叉杆上，其中横杆(行)接受电压输入，竖杆(列)给出电流输出，制成的基础忆阻器阵列如图2所示；

然后进入步骤1-2：采用如图2所示的基础忆阻器阵列制备卷积+池化层忆阻器阵列，并通过每一列的输入口输入训练集图像信息，得到卷积+池化层输出值：

将81个3×3基础忆阻器阵列按每行9个，每列9个(即b＝9)的矩阵形式排列，各个基础忆阻器阵列之间无连接。每个基础忆阻器阵列以该阵列3个竖杆的输出电流和作为该单元的输出电流值，输出电流值将会以电流转换电压电路(通过电阻)构成输入给全连接层的电压。

在本例中，规定所要识别的形状有十种，同一组形状的图像相互之间有一定程度的差别，所有图像的格式均为27×27像素、灰度图。

由于图像输入之前，阵列中忆阻器的阻值为随机值，则图像输入公示为：

V_ij(m-(i-1)×3，n-(j-1)×3)＝Image(m，n)

其中，m、n代表图像的行列，m＝{1，2，3...27}，n＝{1，2，3...27}，Image(m，n)为图像m行n列的灰度值。V_ij为对忆阻器阵列每个忆阻器施加的电压值，其中i代表卷积+池化层忆阻器阵列行数，j代表卷积+池化层忆阻器阵列列数，i＝{1，2，3...9}，j＝{1，2，3...9}，m-(i-1)×3为忆阻器基础阵列行数，n-(j-1)×3为忆阻器基础阵列列数，理应有1≤(m-(i-1)×3)≤3，1≤(n-(j-1)×3)≤3。

由于，在忆阻器上的计算符合欧姆定律：因此，卷积+池化层忆阻器阵列输出处理公式为：

其中，I_conv为每个忆阻器基础阵列中所有忆阻器的输出电流和，由于一共有81个忆阻器基础阵列，所以I_conv是一个长度为81的向量。

最后进入步骤1-3：采用基础忆阻器阵列制备全连接层忆阻器阵列，且该全连接层忆阻器阵列的输入口个数与卷积+池化层忆阻器阵列的基础忆阻器阵列个数一致，得到待训练的卷积神经网络，输入卷积+池化层输出值，得到全连接层输出值，具体操作过程为：

参见附图4，采用如图2所示的基础忆阻器阵列制备全连接层忆阻器阵列，即将108个3×3基础忆阻器阵列按每行27个，每列4个(即p＝27，q＝4)的矩阵形式排列，且各个基础忆阻器阵列芯片之间无连接，每个基础忆阻器阵列以该阵列3个竖杆的输出电流和作为该单元的输出电流值，输出电流值将会以电流转换为电压电路(通过电阻)构成输入给全连接层的电压。

卷积+池化层处理结果输入之前，全连接层忆阻器阵列中忆阻器的阻值为随机值，这里全连接层忆阻器阵列的最后两列并不使用。卷积+池化层处理结果输入处理公式为：

V_l(k)＝I_conv(k)

其中，V_l(k)为给第l列的每个忆阻器施加的电压值，1≤l≤10，1≤k≤81，采用R＝1Ω电阻来使电流转换为电压。

则在忆阻器上的计算符合欧姆定律：

本例中，定义为返回括号中函数在f＝x，f＝x+1…f＝y的情况下结果为最大时所对应的f值，则全连接层忆阻器阵列的输出处理公式为：

其中，Output为整数值，它的每一个值代表一个形状，一共有10个形状，即1≤Output≤10。

步骤2：根据待训练的卷积神经网络的全连接层输出值与标准信息的偏差，利用反向传播函数结合V_set电压脉冲序列减小权重、V_reset电压脉冲序列增大权重对制备的待训练的卷积神经网络进行训练，且训练次数不小于一千次，具体训练过程为：

首先，对比标准信息Answer和待训练的卷积神经网络全连接层输出Output的值，若Answer＝Output，则不进行任何调整，直接进入下一次训练；若Answer≠Output，则需要利用反向传播函数对权重(即忆阻器阻值)进行调整。

当需要进行调整时：

对于Answer所对应的一列：

G(k，Answer)＝G(k，Answer)+ΔG(k，Answer)

其中，β为学习率，β值越大学习步长越大，β值越小学习步长越小，在神经网络中，学习率主要控制收敛速度。ΔG的实现是利用V_set电压脉冲序列减小权重，施加V_set电压脉冲序列的次数越多，减少的权重越大；利用V_reset电压脉冲序列增大权重，施加V_reset电压脉冲序列的次数越多，增大的权重越大，其中将V_set和V_reset电压脉冲通过横杆施加到每个忆阻器上以调整忆阻器的阻值(即调整了权重大小)，V_set和V_reset电压脉冲序列的数量和振幅可调。

对于Output所对应的一列：

G(k，Output)＝G(k，Output)+ΔG(k，Output)

其中，ΔG的实现同上。

在调整部分结束后，可进行下一次训练。

步骤3：当达到训练次数时，判定训练精度是否达标，若不达标则对训练后的卷积神经网络进行再次训练，直至精度达标，而再次训练时可以采用如下两种策略：一是增加训练次数，二是改变上述的学习率β的值；

步骤4：获得所需卷积神经网络，获得的训练好的卷积神经网络可以直接使用在对某一目标的识别时，无需再次训练。

在本实施例中，应用训练次数分别为2000次、4000次、6000次所得的卷积神经网络，针对表示十种不同形状的共10000张测试集图像进行了识别，获得的识别精度对比结果如图5所示，不难看出，本发明具有令人满意的准确度，不仅训练方法的鲁棒性很强，更是创新性地成功实现了更为复杂的卷积神经网络。

Claims (7)

1.一种基于忆阻器的卷积神经网络实现方法，其特征在于按照以下步骤进行：

步骤1：制备由卷积+池化层与全连接层构成的待训练的卷积神经网络，并输入训练集图像信息，得到全连接层输出值；

步骤2：根据待训练的卷积神经网络的全连接层输出值与标准信息的偏差，利用反向传播函数对待训练的卷积神经网络进行训练；

步骤3：当达到训练次数时，判定训练精度是否达标，若不达标则对训练后的卷积神经网络进行再次训练，直至精度达标；

步骤4：获得所需卷积神经网络。

2.根据权利要求1所述的一种基于忆阻器的卷积神经网络实现方法，其特征在于：所述待训练的卷积神经网络的制备过程如下：

步骤1-1：制备基础忆阻器阵列；

步骤1-2：采用基础忆阻器阵列制备卷积+池化层忆阻器阵列，通过每一列的输入口输入训练集图像信息，得到卷积+池化层输出值；

步骤1-3：采用基础忆阻器阵列制备全连接层忆阻器阵列，且该全连接层忆阻器阵列的输入口个数与卷积+池化层忆阻器阵列的基础忆阻器阵列个数一致，得到待训练的卷积神经网络。

3.根据权利要求2所述的一种基于忆阻器的卷积神经网络实现方法，其特征在于：所述基础忆阻器阵列由多个忆阻器按a*a矩阵形式排列而成，其中a为大于0的整数。

4.根据权利要求2或3所述的一种基于忆阻器的卷积神经网络实现方法，其特征在于：所述基础忆阻器阵列由9个忆阻器按3*3矩阵形式排列而成。

5.根据权利要求2所述的一种基于忆阻器的卷积神经网络实现方法，其特征在于：所述卷积+池化层忆阻器阵列由多个基础忆阻器阵列按b*b矩阵形式排列而成，所述全连接层忆阻器阵列由多个基础忆阻器阵列按p*q矩阵形式排列而成，其中b、p、q为互不相等的大于零的整数。

6.根据权利要求2或5所述的一种基于忆阻器的卷积神经网络实现方法，其特征在于：所述卷积+池化层忆阻器阵列由81个基础忆阻器阵列按9*9矩阵形式排列而成，所述全连接层忆阻器阵列由108个基础忆阻器阵列按27*4矩阵形式排列而成。

7.根据权利要求1所述的一种基于忆阻器的卷积神经网络实现方法，其特征在于：所述训练次数不少于一千次。