CN109086870A - 一种基于忆阻器的三维卷积神经网络实现方法 - Google Patents

Abstract

本发明公开了一种基于忆阻器的三维卷积神经网络实现方法，包括制备由第一卷积+池化层、第二卷积+池化层与全连接层构成的待训练三维卷积神经网络，并输入原始视频信息，得到全连接层输出值；根据待训练三维卷积神经网络的全连接层输出值与标准信息的偏差，利用反向传播函数对待训练三维卷积神经网络进行训练；当达到设定的训练次数时，判定训练精度是否达标，若不达标则进行再次训练，直至精度达标；获得所需三维卷积神经网络等步骤。其显著效果是：在硬件上减少了对精度和制备难度、时间的影响；便于硬件搭建实现，同时首次将基于忆阻器实现的神经网络可以处理的信息难度提升到视频级别。

Description

一种基于忆阻器的三维卷积神经网络实现方法

技术领域

本发明涉及到人工智能与材料科学技术领域，具体地说，是一种 基于忆阻器的三维卷积神经网络实现方法。

背景技术

忆阻器是一种具有电阻的量纲，作为继表示电压与电流关系的电 阻器，表示电荷和电压关系的电容器，表示磁通与电流关系的电感器 的第四种基本元件，它是一种表示磁通与电荷关系的电路器件(dρ ＝Mdq)。忆阻器的阻值会伴随流经忆阻器的电流量变化，即使电流停 止，其阻值依旧停在电流停止之前的值，除非在让电流再次流经忆阻 器。对于忆阻器而言，若让电流以正向流过，忆阻器阻值会变大；让 电流以反向流动，忆阻器阻值会变低，即其阻值由流经它的电荷所决 定。忆阻器具有记忆电荷的作用，这表现在流经它的电荷量往往通过 测定一个忆阻器的阻值来进行推导计算。

由于忆阻器类突触的特性，将神经网络计算与忆阻器相结合，可 以使负责数据存储和处理的单元融合在一起，大幅提升数据传输和处 理的并行度，因此在人工智能中扮演了十分重要的角色。神经网络自 身种类多样，应用范围十分广泛，在图像处理、模式识别、分类、数 据压缩、视频识别等方面均可以被应用。其中，在二维卷积网络的基 础上，一种可以对视频进行处理的三维卷积神经网络(3-dimensional convolutional neuralnetworks，3D CNNs)诞生。三维卷积神经网络在 二维的基础上引入了时间维度，这意味着除了视频每一帧的图像信息 将被卷积处理外，视频的时间轴上的帧也要被卷积处理。引入的有关 时间的第3维度，可以将帧与帧的关系也反映在经卷积处理过后的视 频特征中。微软亚洲研究院(MSRA)已经做出了层数高达199的三 维卷积神经网络，并在视频理解任务上的性能上有了稳步提升。

目前，不少科研工作者针对基于忆阻器的神经网络计算进行了不 少研究并给出了许多出色的结果。Yao等使用具有双向模拟RRAM 阵列的集成1024单元阵列通过结合反向传播基础神经网络，在128 ×8的忆阻器阵列上实现了对大小为20×16像素的灰度图像人脸(总 共有3个人，来自耶鲁大学脸部数据库)的分类(参见文献“Face classificationusing electronic synapses”，发表于Nature Communications， 2017年第8期)。Prezioso等将单层反向传播基础神经网络加载在大 小为12×12的忆阻器阵列上，并实现了对大小为3×3像素的27个 单像素噪声处理过后的二进制图像“z”、“v”、“n”的分类(参见文 献“Training and operation of an integrated neuromorphic network based onmetal-oxide memristors”，发表于Nature，2015年第521卷第7550 期)。Dong等也设计并优化了基于RRAM的卷积神经网络硬件实现 方案(参见文献“RRAM based convolutionalneural networks for high accuracy pattern recognition and online learningtasks”，发表于Silicon Nanoelectronics Workshop，2017年第145-146页)。

然而，目前基于忆阻器所实现的神经网络多为最基本的全连接层 或简单的卷积层，局限了忆阻器特性的发挥，导致现有研究仅限于识 别简单的信号和图像模型。

由此可见，亟需一种能够实现高级神经网络(三维卷积神经网络) 的基于忆阻器的三维卷积神经网络实现方法，以使忆阻器能够处理更 复杂的信息：视频级别的信息。

发明内容

针对现有技术的不足，本发明的目的是提供一种基于忆阻器的三 维卷积神经网络实现方法，能够实现更高级的神经网络，从而处理比 图像更复杂的视频信息。

为达到上述目的，本发明采用的技术方案如下：

一种基于忆阻器的三维卷积神经网络实现方法，其关键在于包括 以下步骤：

步骤1：基于基础忆阻器阵列，制备由第一卷积+池化层、第二 卷积+池化层与全连接层构成的待训练三维卷积神经网络，并输入原 始视频信息，得到全连接层输出值；

步骤2：根据待训练三维卷积神经网络的全连接层输出值与标准 信息的偏差，利用反向传播函数对待训练三维卷积神经网络进行训练；

步骤3：当达到设定的训练次数时，判定训练精度是否达标，若 不达标则进行再次训练，直至精度达标；

步骤4：获得所需三维卷积神经网络。

进一步的技术方案是，所述待训练三维卷积神经网络的制备过程 如下：

步骤1.1：采用基础忆阻器阵列制备第一卷积+池化层忆阻器阵列， 并输入原始视频信息，得到第一卷积+池化层输出值；

步骤1.2：采用基础忆阻器阵列制备第二卷积+池化层忆阻器阵列， 并输入经所述第一卷积+池化层忆阻器阵列处理后的视频信息，得到 第二卷积+池化层输出值；

步骤1.3：采用基础忆阻器阵列制备全连接层忆阻器阵列，输入 经所述第二卷积+池化层忆阻器阵列处理后的视频信息，得到待训练 忆阻器神经网络。

进一步的技术方案是，所述基础忆阻器阵列由多个忆阻器按a×a 矩阵形式排列而成，其中a为大于1的整数。

进一步的技术方案是，所述基础忆阻器阵列由9个忆阻器按3×3 矩阵形式排列而成。

进一步的技术方案是，所述第一卷积+池化层忆阻器阵列、第二 卷积+池化层忆阻器阵列以及全连接层忆阻器阵列由多个基础忆阻器 阵列按q×p矩阵形式排列而成，其中q、p为互不相等的大于1的整 数。

进一步的技术方案是，所述第一卷积+池化层忆阻器阵列由1440 个基础忆阻器阵列按60×24矩阵形式排列而成，所述第二卷积+池化 层忆阻器阵列由160个基础忆阻器阵列按20×8矩阵形式排列而成， 所述全连接层忆阻器阵列由108个基础忆阻器阵列按2×54矩阵形式 排列而成。

进一步的技术方案是，所述训练次数不少于五百次。

本方案基于3×3大小的基础忆阻器阵列，以不同的方式排列分 别构成第一卷积+池化层忆阻器阵列、第二卷积+池化层忆阻器阵列以 及全连接层阵列，第一卷积+池化层忆阻器阵列通过每一列忆阻器阵 列的输入口输入视频信息(视频的每一帧的每个像素均对应一个不同 的忆阻器)，得到多个基础忆阻器阵列的电流和，作为下一层输入信 息；第二卷积+池化层忆阻器阵列通过每一列的多个输入口输入第一 个卷积+池化层输出的信息(视频的每一帧的每个像素均对应一个不 同的忆阻器)，得到多个基础忆阻器阵列的电流和，作为全连接层输 入信息；全连接层通过每一列的输入口(最后一行的基础忆阻器阵列只有第一行被使用)输入第二卷积+池化层输出的信息(视频帧被处 理成一维形式，其中每一列的输入均相同)，分别得到每一列的电流 和，电流和最大的一列作为输出信息，得到待训练三维卷积神经网络。 之后，利用输出信息与标准信息求得偏差，根据偏差利用反向传播函 数结合Vset电压减小权重(即忆阻器电阻值)，Vreset电压增大权重， 对待训练三维卷积神经网络进行训练，直至获得精度满足要求的所需 三维卷积神经网络。若精度未达标需对卷积神经网络进行再次训练时， 可以采用两种方案，即增加训练次数或改变反向传播函数中的学习因 子，从而对精度进行改善，直至获得所需精度的卷积神经网络。

本发明的显著效果是：利用小规模忆阻器阵列作为基础阵列，然 后以一定方式进行排列构成大的处理阵列，在硬件上减少了对精度和 制备难度、时间的影响；实现的三维卷积神经网络的处理阵列层数较 浅(仅三层)，便于硬件搭建实现，同时首次将基于忆阻器实现的神 经网络可以处理的信息难度提升到视频级别；与传统的基于忆阻器的 神经网络实现方法相比，本发明方法实现了对更复杂的信息即视频信 息的处理，且不易受到硬件噪声、制备难度和时间的影响，具有令人 满意的视频处理准确度。

附图说明

图1是本发明的方法流程图；

图2是三维卷积神经网络结构示意图；

图3是所述基础忆阻器阵列的排布示意图；

图4是所述第一卷积+池化层忆阻器阵列的排布示意图；

图5是所述第二卷积+池化层忆阻器阵列的排布示意图；

图6是所述全连接层忆阻器阵列的排布示意图；

图7是对部分种类合并后的Weizman视频数据集的识别精度图。

具体实施方式

下面结合附图对本发明的具体实施方式以及工作原理作进一步 详细说明。

如图1所示，一种基于忆阻器的三维卷积神经网络实现方法，其 具体步骤如下：

步骤1：基于基础忆阻器阵列，制备由第一卷积+池化层、第二 卷积+池化层与全连接层构成的如图2所示的待训练三维卷积神经网 络，并输入原始视频信息，得到全连接层输出值；

所述待训练三维卷积神经网络的具体制备过程如下：

步骤1.1：采用基础忆阻器阵列制备第一卷积+池化层忆阻器阵列， 并输入原始视频信息，得到第一卷积+池化层输出值；

如图3所示，首先制备3×3大小的基础忆阻器阵列，即将9个 忆阻器按每行3个，每列3个的矩阵形式排列在一个集成芯片上。

然后制备所述第一卷积+池化层忆阻器阵列，将1440个3×3基 础忆阻器阵列按每行60个，每列24个得矩阵形式排列，如图4所示， 各个芯片之间无连接。

本例中，所要识别视频中人的行为有6种，视频的每一帧图像的 格式均为72×180像素、灰度图。

视频输入之前，阵列中忆阻器的阻值均为随机值。视频输入处理 公式为：

V_ij(m-(i-1)×3,n-(j-1)×3,t)＝Video(m,n,t)，

定义mod(m,3)＝m/3的余数，则：

当mod(m,3)≠0时，

当mod(m,3)＝0时，

其中，m表示原始视频信息中图像帧的行，n表示原始视频信息 中图像帧的列，m＝{1,2,3...72},n＝{1,2,3...180},m、n的大小范围与每 一帧的规格有关。t表示该帧是视频的第几帧，t值随视频的不同而不 同，其范围并不固定。video(m,n,t)表示视频第t帧中第m行、第n列 的灰度值的大小。V_ij表示施加给位于第i行，第j列的基础忆阻器阵 列整个阵列的电压值大小，V_ij是一个大小为3×3的矩阵。i和j用于 衡量所述第一卷积+池化层忆阻器功能阵列中基础忆阻器阵列的位置， 有i＝{1,2,3…24},j＝{1,2,3…60}。m-(i-1)×3，n-(j-1)×3用于衡量 基础忆阻器阵列中每个忆阻器的位置，其范围是1≤(m-(i-1)×3)≤3， 1≤(n-(j-1)×3)≤3。

在忆阻器上的计算符合欧姆定律，以q和p分别代表基础忆阻器 阵列的行和列，可以得到单个基础忆阻器阵列电流和计算公式：

将所有基础忆阻器阵列电流和进行整理，引入时间维度的卷积， 则第一个卷积+池化层的输出处理公式可以表示为：

其中，需要注意的是，参与上式运算的帧数是有限制的，当t所 代表的帧数是视频总帧数-1或者就是视频总帧数的数值时，上式会溢 出并无法计算(这里时间卷积的概念最明显，在空间卷积步长较小时 也会遇到溢出问题)。这意味着，I_conv+pol1的最大帧数为视频总帧数-2。

步骤1.2：采用基础忆阻器阵列制备第二卷积+池化层忆阻器阵列， 并输入经所述第一卷积+池化层忆阻器阵列处理后的视频信息，得到 第二卷积+池化层输出值；

如图3所示，首先，制备3×3大小的基础忆阻器阵列，即将9 个忆阻器按每行3个，每列3个的矩阵形式排列在一个集成芯片上。

然后，按照图5所示进行制备所述第二卷积+池化层忆阻器阵列， 也即是将160个3×3基础忆阻器阵列按每行20个，每列8个得矩阵 形式排列，各个芯片之间无连接。

第二卷积+池化层忆阻器阵列的卷积核大小为3×3×Frame，其 中Frame为I_conv+pol1的总帧数。通过将所述第一的输出乘以1欧姆的 电阻V_2in＝I_conv+pol1×1Ω，可以简单的把第一卷积+池化层忆阻器阵列 的输出电流转换为本层的输入电压。则第二卷积+池化层忆阻器阵列 的视频输入处理公式为：

V_ab(i-(a-1)×3,j-(b-1)×3,t)＝V_2in(i,j,t)

当mod(i,3)≠0时，

当mod(j,3)＝0时，

上式中，a表示经过一次处理后视频帧的行，b表示经过一次处 理后视频帧的列，a＝{1,2,3…8},b＝{1,2,3…20}。t表示I_conv+pol1的 总帧数。与第一卷积+池化层忆阻器阵列相同，t的范围并不固定。 V_ab表示施加给位于第a行、第b列的基础忆阻器阵列整个阵列的电压值大小，V_ab是一个大小为3×3的矩阵。a和b用于衡量所述第二 卷积+池化层忆阻器阵列中基础忆阻器阵列的位置，有a＝{1,2,3… 8}，b＝{1,2,3…20}。i-(a-1)×3，j-(b-1)×3用于衡量基础忆阻器阵 列中每个忆阻器的位置，其范围是1≤(i-(a-1)×3)≤3,1≤(j-(b-1)× 3)≤3。与第一卷积+池化层忆阻器阵列相同，单个基础忆阻器阵列的 输出公式为：

其中，V_2in与I_conv+pol1的帧数相同，这里用同样符号表示。总帧数 用Frame表示时：

步骤1.3：采用基础忆阻器阵列制备全连接层忆阻器阵列，输入 经所述第二卷积+池化层忆阻器阵列处理后的视频信息，得到待训练 忆阻器神经网络，具体操作如下：

首先，按照如图3所示制备3×3大小的基础忆阻器阵列，即将 9个忆阻器按每行3个，每列3个的矩阵形式排列在一个集成芯片上。

然后制备全连接层忆阻器阵列，按照如图6所示将108个3×3 基础忆阻器阵列按每行2个，每列54个得矩阵形式排列，各个芯片 之间无连接。

第二卷积+池化层忆阻器阵列处理结果输入全连接层之前，阵列 中忆阻器的阻值为随机值，这里输出层忆阻器阵列的最后两行并不使 用，所述全连接层忆阻器阵列的输入处理公式为：

V_l(k)＝I_conv+pol2(k)×1Ω，1≤k≤160,1≤l≤6，

其中，V_l(k)为给第l列的每个忆阻器施加的电压值，采用R＝1的 电阻来使电流转换为电压。

在忆阻器上的计算符合欧姆定律，则

这里首先定义为返回括号中函数在 f＝a,f＝a+1,...,f＝b的情况下结果为最大时所对应的f值，则输出 层忆阻器阵列输出处理公式为：

其中，Output为整数值，它的每一个值代表一类行为，一共有6 类行为，即1≤Output≤6。

步骤2：根据待训练三维卷积神经网络的全连接层输出值与标准 信息的偏差，利用反向传播函数数结合V_set电压减小权重、V_reset电压 增大权重对待训练三维卷积神经网络进行训练，训练次数不少于五百 次，具体的训练过程为：

首先，对比标准信息Answer和待训练的卷积神经网络全连接层 输出Output的值，若Answer＝Output，则不进行任何调整，直接进 入下一次训练；若Answer≠Output，则需要利用反向传播函数对权重 (即忆阻器阻值)进行调整。

当需要进行调整时：

对于Answer所对应的一列：

R(k,Answer)＝R(k,Answer)+ΔR(k,Answer)，

其中，β为学习率，β值越大学习步长越大，β值越小学习步长 越小，在神经网络中，学习率主要控制收敛速度。ΔR的调节是利用 V_set电压脉冲序列减小权重，施加V_set电压脉冲序列的次数越多，减 少的权重越大；利用V_reset电压脉冲序列增大权重，施加V_reset电压脉冲序列的次数越多，增大的权重越大，其中将V_set和V_reset电压脉冲通 过横杆施加到每个忆阻器上以调整忆阻器的阻值(即调整了权重大 小)，V_set和V_reset电压脉冲序列的数量和振幅可调。

对于Output所对应的一列：

R(k,Output)＝R(k,Output)+ΔR(k,Output)，

其中ΔR的实现同上述Answer部分。

在调整部分结束后，可进行下一次训练。

步骤3：当达到设定的训练次数时，判定训练精度是否达标，若 不达标则进行再次训练，直至精度达标；

步骤4：获得所需三维卷积神经网络。

基于上述方法获得的所需三维卷积神经网络，在对某一视频中人 的行为进行识别时，训练好的神经网络可以直接使用，无需再次训练。

在本实施例中，采用所需三维卷积神经网络对视频集中人所做出 的六类不同行为进行了识别，其中训练集包含140个不同视频，测试 集包含30个不同视频。实验的结果如图7所示，从其中不难看出， 本方案所得的三维卷积神经网络具有良好的精确度，不仅训练方法的 鲁棒性很强，更是创新性地首次成功实现了利用基于忆阻器的神经网 络对视频级别难度的信息进行处理。

Claims (7)

1.一种基于忆阻器的三维卷积神经网络实现方法，其特征在于包括以下步骤：

步骤1：基于基础忆阻器阵列，制备由第一卷积+池化层、第二卷积+池化层与全连接层构成的待训练三维卷积神经网络，并输入原始视频信息，得到全连接层输出值；

步骤2：根据待训练三维卷积神经网络的全连接层输出值与标准信息的偏差，利用反向传播函数对待训练三维卷积神经网络进行训练；

步骤3：当达到设定的训练次数时，判定训练精度是否达标，若不达标则进行再次训练，直至精度达标；

步骤4：获得所需三维卷积神经网络。

2.根据权利要求1所述的基于忆阻器的三维卷积神经网络实现方法，其特征在于：所述待训练三维卷积神经网络的制备过程如下：

步骤1.1：采用基础忆阻器阵列制备第一卷积+池化层忆阻器阵列，并输入原始视频信息，得到第一卷积+池化层输出值；

步骤1.2：采用基础忆阻器阵列制备第二卷积+池化层忆阻器阵列，并输入经所述第一卷积+池化层忆阻器阵列处理后的视频信息，得到第二卷积+池化层输出值；

步骤1.3：采用基础忆阻器阵列制备全连接层忆阻器阵列，输入经所述第二卷积+池化层忆阻器阵列处理后的视频信息，得到待训练忆阻器神经网络。

3.根据权利要求1或2所述的基于忆阻器的三维卷积神经网络实现方法，其特征在于：所述基础忆阻器阵列由多个忆阻器按a×a矩阵形式排列而成，其中a为大于1的整数。

4.根据权利要求3所述的基于忆阻器的三维卷积神经网络实现方法，其特征在于：所述基础忆阻器阵列由9个忆阻器按3×3矩阵形式排列而成。

5.根据权利要求2所述的基于忆阻器的三维卷积神经网络实现方法，其特征在于：所述第一卷积+池化层忆阻器阵列、第二卷积+池化层忆阻器阵列以及全连接层忆阻器阵列由多个基础忆阻器阵列按q×p矩阵形式排列而成，其中q、p为互不相等的大于1的整数。

6.根据权利要求2或5所述的基于忆阻器的三维卷积神经网络实现方法，其特征在于：所述第一卷积+池化层忆阻器阵列由1440个基础忆阻器阵列按60×24矩阵形式排列而成，所述第二卷积+池化层忆阻器阵列由160个基础忆阻器阵列按20×8矩阵形式排列而成，所述全连接层忆阻器阵列由108个基础忆阻器阵列按2×54矩阵形式排列而成。

7.根据权利要求1所述的基于忆阻器的三维卷积神经网络实现方法，其特征在于：所述训练次数不少于五百次。