CN113077046A - 一种基于遗忘忆阻桥的并行多算子卷积运算器 - Google Patents

Abstract

本发明公开了一种基于遗忘忆阻桥的并行多算子卷积运算器，涉及图片和信号处理领域，具体方案为：包括算子切换芯片、K个算子芯片、K个存储芯片和镜像电路，算子切换芯片包括若干遗忘忆阻桥，像素信号与忆阻桥进行卷积计算后得到电压信号，电压信号通过镜像电路转换为电流信号，电流信号传输至存储芯片，其中，存储芯片包括非易失性忆阻器，一个忆阻器对应表示一个像素。本发明结合忆阻桥的桥式架构和易失性忆阻器的遗忘特性，实现遗忘忆阻桥，利用遗忘忆阻桥的长短时记忆特性表示多个算子，设计多算子并行切换进行卷积运算。通过利用忆阻器件自身的特性进行算子的设置、切换和并行运算，实现芯片面积、芯片功耗和运行速度三者的优化。

Description

一种基于遗忘忆阻桥的并行多算子卷积运算器

技术领域

本发明涉及图片和信号处理领域，更具体地说，它涉及一种基于遗忘忆阻桥的并行多算子卷积运算器。

背景技术

卷积运算是类脑芯片的基本运算之一，运算处理速度直接影响芯片的性能。传统卷积运算通常逐个进行不同算子的运算，运行速度慢，而且在神经形态电路中，算子的更换也不方便，不利于神经形态电路性能的提高。

传统神经形态电路中突触的实现并不理想，普通电阻突触能实现固定权值，但无法进行学习；双MOS管突触能实现正权值学习，但无法同时表示正权值和负权值；复杂CMOS集成电路突触能够满足权值需求，但体积过大，不能大规模集成。相较而言，忆阻器，因其记忆性、纳米尺度使其成为一个天然的突触。忆阻器种类很多，基于不同的材料和制作方式具有不同的特性，因此基于忆阻器的突触种类也很多。韩国Kim等人基于非易失性忆阻器构建忆阻桥突触，是目前比较成功的一种忆阻突触。它结构简单，控制方便，而且能够成功实现正负权值的变化，将之作为突触应用于卷积神经网络中，对图片进行边缘提取，可以获得与冯诺依曼机同等效果。

但此忆阻桥中采用的是非易失性忆阻器，无法进行多个不同算子的并行处理，因此不能进一步提高神经形态电路处理图片的效率。

发明内容

为解决上述技术问题，本发明提供一种基于遗忘忆阻桥的并行多算子卷积运算器，用突触表示算子，实现存储和运算一体化，而且可以并行进行多个算子的卷积运算。

本发明的上述技术目的是通过以下技术方案得以实现的：

一种基于遗忘忆阻桥的并行多算子卷积运算器，包括算子切换芯片、K个算子芯片、K个存储芯片和镜像电路，算子切换芯片包括若干遗忘忆阻桥，像素信号与忆阻桥进行卷积计算后得到电压信号，电压信号通过镜像电路转换为电流信号，电流信号传输至存储芯片，其中，存储芯片包括非易失性忆阻器，一个忆阻器对应表示一个像素，遗忘忆阻桥的设置方式为：

令遗忘忆阻桥的长短时表示为长短记忆算子，通过设置遗忘忆阻桥以桥式电路环形连接4个遗忘忆阻器M1,M2,M4和M3，电压输入端位于M1和M3之间，M1和M2之间引出电压输出端的一个端级，M3和M4之间引出电压输出端的另一个端级，其中M1和M2反向，M3和M4反向，M1和M4相同，M2和M3相同，使得输出电压和输入电压成比例，其中，忆阻桥分压公式为：

其中，V_A为正极电压，V_B为负极电压；

输入输入电压与突触权重关系为：

Vout＝wVin (2)

其中，w为权值。

在上述方案中，一个忆阻器表示一个像素，流入电流可直接对存储芯片中的忆阻器进行写入，最终阻值对应经过卷积运算后得到的灰度值，通过读取信号进行读取。

突触权重即权值可表示为：

作为一种优选方案，算子芯片中包括N个算子，每个算子包括长时算子和短时算子。

在上述优选方案中，每个算子芯片包括N个算子，N为2的倍数，每次设置都会同时设置两个算子。

作为一种优选方案，遗忘忆阻器包括长时记忆特性和短时记忆特性的忆阻器，其中：长时记忆电阻微分方程为：

dM_L＝k_Lsign(i₃)i₃^2 (4)

其中：M_L为长时记忆电阻，i₃为长时记忆写电流，k_L为长时记忆变化常数，sign(i₃)为电流信号i₃的符号；

短时记忆电阻微分方程为：

dM_s＝k_ssign(i₂)i₂^2-sign(M_s-M_l)f,if M_s≠M_l (5)

其中：M_S为短时记忆电阻，i₂为短时记忆写电流，k_S为短时记忆变化常数，sign(i₂)为电流信号i₂的符号，f为衰减速度，当M_S不等于M_L时，Ms以固定速度f衰减至长时记忆，M_S等于M_L时不再衰减，也即f＝0。

在上述优选方案中，遗忘忆阻桥中的遗忘忆阻器为具有长时记忆和短时记忆特性的忆阻器，短时记忆保持时间比较短，长时记忆保持时间比较长，短时记忆将会自发衰减为长时记忆。我们将忆阻器近似处理，设计理想忆阻器模型，其长时记忆电阻微分方程(4)。

作为一种优选方案，电压输入端采用固定赋值脉冲信号，设置忆阻器的最大电阻映射为1，最小电阻映射为0，此时长时记忆电阻变化值为：

ΔM_L＝k_Lsign(v₃)v₃^2t (6)

其中，i3＝Vin＝v3

短时记忆电阻变化值为：

ΔM_s＝k_ssign(v₂)v₂^2t-sign(M_s-M_l)ft,if M_s≠M_l (7)

其中，t为脉冲作用时间，由占空比决定，i2＝Vin＝v2。

在上述优选方案中，由于此系统Vin采用固定幅值脉冲信号，而且我们将忆阻器的最大电阻映射为1，最小电阻映射为0，则M1和M2的电阻和始终为1，这意味着流过忆阻器的电流与输入电压Vin相等，所以可以直接通过电压源信号改写忆阻器的电阻，实现对忆阻桥的权值的控制。

通常在有外部电压信号v₂作用时，衰减值-sign(M_s-M_l)ft可忽略，短时记忆电阻可近似为ΔM_s＝k_ssign(v₂)v₂^2t。

通过控制单个忆阻器的长短时记忆电阻来控制忆阻桥的权值。由于M1＝M4，M2＝M3，公式(3)忆阻桥的权值w可简写为：

w＝(M2-M1)/(M1+M2) (8)

我们将忆阻器的电阻映射到[0,1]范围内，则M1+M2＝1，由于M1和M2方向相反，参数相同，所以M1+M2始终保持不变。由于M1减少的部分-ΔM等于M2增加的部分ΔM，权值的变化可以写为：

Δw＝2ΔM/(M2+M1)＝2ΔM (9)

根据这个公式，我们可以通过设置单个忆阻器的长短时记忆电阻ΔM_L和ΔM_S来设置忆阻桥的长短时记忆权重，而单个忆阻器的电阻可以通过固定幅值电压脉冲信号v₃和v₂进行设置。由于图片的像素信号也可以通过电压脉冲信号实现，此处设为v₁，因此我们只需要整合不同幅值的电压脉冲信号，就可以实现对算子切换芯片和图片存储芯片的控制。

作为一种优选方案，算子切换芯片中重置信号采用高电压设置长时记忆，采用低电压设置短时记忆。

在上述优选方案中，采用遗忘忆阻桥表示算子数值，利用信号与不同算子运算的空隙进行多个算子的切换，用短时记忆表示一个算子，长时记忆表示另一个算子，短时记忆到长时记忆算子通过衰减效应进行切换，长时记忆到短时记忆算子通过重置信号进行切换，重置信号可作为一组特殊的信号添加在一幅图的像素信号后，既可实现算子切换，又可作为一个算子运算完成的标识。重置信号的前一部分为高电压，将所有忆阻值的长时记忆和短时记忆都初始化，正权值(包括0)初始化为1，负权值初始化为-1，然后再根据相应算子设计占空比将长时记忆和短时记忆设置到对应权值，这里分为两个部分，第一部分采用高电压设置长时记忆，第二部分采用低电压设置短时记忆。

根据忆阻器模型可计算出改变忆阻桥权值ΔM_L和ΔM_S所对应的忆阻器阻值ΔM所需的电压信号的作用时间，根据权值的符号选择正负电压。长短时记忆电阻改变所需的电压幅值不同。单位周期内，长时记忆电压v3可以使长时记忆在单位周期内从最小电阻到最大电阻互转，当然也会快速使短时记忆达到饱和状态，但随后的短时记忆电压v2可使短时记忆从1和0互转，而对长时记忆影响非常小，因此先设置长时记忆算子，后设置短时记忆算子。图片像素采用固定幅值v1正电压信号表示，信号幅值最低，对忆阻桥短时记忆和长时记忆的影响都可以忽略不计，但对图片存储芯片中非易失性忆阻器有明显作用，不同灰度值对应不同占空比。

算子设置信号和图片像素信号整合之后，只需按照卷积运算的规则逐次输出相应信号，即可在图片存储芯片中可得到预处理之后的图片。

综上所述，本发明具有以下有益效果：

(1)本发明结合忆阻桥的桥式架构和易失性忆阻器的遗忘特性，实现遗忘忆阻桥，利用遗忘忆阻桥的长短时记忆特性表示多个算子，设计多算子并行切换进行卷积运算。通过利用忆阻器件自身的特性进行算子的设置、切换和并行运算，实现芯片面积、芯片功耗和运行速度三者的优化；

(2)高效并行：利用遗忘效应，通过算子切换，减少一半算子元件个数，节省空间和成本；通过遗忘实现算子的自动切换和图片的自学习，节省功耗；多个算子间利用时间差轮流切换和重置，并行进行，提高效率；利用像素信号对抗衰减值，从而保证算子使用期的有效性；

(3)便于控制：充分利用脉冲信号，提高控制的便携性和精确度。不同幅值脉冲信号表示图片灰度值，长时算子和短时算子，不同占空比脉冲信号对忆阻桥算子和图片像素进行设置，控制电路简单高效。

(4)高集成度：突破冯诺依曼架构限制，实现存储和运算合为一体。遗忘忆阻桥表示权重，既能保存图片算子，又能进行卷积运算。

附图说明

图1是本发明实施例的忆阻桥的结构示意图；

图2(a)是本发明实施例的算子切换芯片的结构示意图；图2(b)是本发明实施例的图片存储芯片的结构示意图；

图3(b)是本发明实施例的双算子芯片四算子切换卷积运算器的结构示意图；图3(c)是本发明实施例的图片K算子芯片切换卷积运算器的结构示意图；

图4是本发明实施例的双算子芯片切换卷积运算器不带阈值特性长短时算子切换脉冲信号和图片像素对应脉冲信号图；

图5(a)是本发明实施例的双算子芯片切换系统不带阈值特性图片算子自切换系统图片处理效果图；图5(b)是本发明实施例的双算子芯片切换系统带阈值特性图片算子自切换系统图片处理效果图；图5(c)是本发明实施例的算子切换系统与传统算法的误差对比图；图5(e)(d)(f)为将像素脉冲调整为1.4mV之后对应的图。

具体实施方式

本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包括”为一开放式用语，故应解释成“包括但不限定于”。“大致”是指在可接受的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。

本说明书及权利要求的上下左右等方位名词，是结合附图以便于进一步说明，使得本申请更加方便理解，并不对本申请做出限定，在不同的场景中，上下、左右、里外均是相对而言。

以下结合附图对本发明作进一步详细说明。

多算子卷积运算器有K个算子芯片和K个存储芯片，并行运行。算子切换芯片如图2(a)所示，包含9个遗忘忆阻桥，对应3*3的算子模板，像素信号与忆阻桥进行卷积计算之后得到的电压信号通过镜像电路转为电流信号，输入图片存储芯片，图片存储芯片如图2(b)所示，由非易失性忆阻器组成，一个忆阻器表示一个像素，流入电流直接对忆阻器进行写入，最终阻值对应经过卷积运算后得到的灰度值，通过读取信号进行读取。如图3(c)所示，系统有K个算子芯片，每个算子芯片都可表示N个算子，N为2的倍数，每一次设置都会同时设置两个算子，也即长时算子和短时算子。K个算子芯片间进行并行切换。

以K＝N＝2为例，样本图1经过短时算子1得到样本图2，在此算子周期，长时算子4经过重置变成短时算子2；样本图2经过短时算子2得到样本图3，在此算子周期短时算子1衰减为长时算子3；样本图3经过长时算子3得到样本图4，此时短时算子2经过衰减得到长时算子4；样本图4经过长时算子4得到最终的图片存储到样本图1，而算子3经过重置回到算子1。如果长时记忆衰减为短时记忆所需的时间不超过处理完5行像素所需的时间，那么K个算子芯片都可以并行处理图片，最快的速度为当前算子芯片模板处理像素信号的时候，开始下一个算子芯片模板的设置，当前算子芯片处理完前面5行像素，下一个算子芯片开始处理图片。K个算子芯片都以此规则进行工作，K条流水线同步进行，图片处理最快速度为：单幅图片处理速度+(K-1)*5行像素处理时间。

算子切换芯片数目少时，具有空间优势，没有时间优势，由于同一个算子芯片上算子切换频繁，因此对重置信号要求高，对算子器件稳定性要求也高，比较容易出现误差。算子切换芯片数目多时，具有时间优势，没有空间优势。当器件不够稳定或者噪声比较多时，可以增加算子芯片个数，减少算子芯片上支持的算子个数，通过牺牲时间来保证系统的准确性和鲁棒性。

当K＝N＝2时，为双芯片4算子并行卷积运算器。从原图开始，图片存储芯片1和2轮流存放不同算子处理过的图片。此处我们采用均值算子，高斯算子，锐化算子和拉普拉斯算子，依次对图片进行处理：

我们将短时记忆算子设为G1和G3，长时记忆算子设为G2和G4，然后G1与G2切换，G3和G4切换。具体步骤如下：

Step1：初始化长时记忆算子G2和G4。采用v3脉冲信号作用T1单位周期，将对应3*3长时记忆算子G2的9个忆阻桥中正权值(包括0)初始化为1；-v3脉冲信号作用T1单位周期，将负权值初始化为-1。初始状态表示为公式(20)。

Step2：设置长时记忆算子G2和G4。采用不同占空比的9个v3信号将9个忆阻桥权值调整到长时记忆算子Gy对应权值。G2，G4缩放为公式(21)，结合公式(19)的初始状态，ΔW2＝G2-G2(0)，可以得到权重的变化值ΔW2，根据公式(9)可知ΔM2＝0.5*ΔW2，从而得到ΔM2。G4算子同理计算。根据公式ΔM_L＝k_Lsign(v₃)v₃^2t可以计算得到长时记忆ΔM2和ΔM4对应的脉冲信号v3的占空比。

Step4：设置短时记忆算子G1和G3。采用不同占空比的9个v2信号将9个忆阻桥权值调整到短时记忆算子G1对应权值。G1不用缩放，G3缩放为公式(25)，结合公式(24)的初始状态，ΔW1＝G1-G1(0)，可以得到权重的变化值ΔW1，根据公式(9)可知ΔM1＝0.5*ΔM1，从而得到ΔM1。G3算子同理计算。根据公式ΔM_s＝k_ssign(v₂)v₂^2t可以计算得到短时记忆ΔM1和ΔM3对应的脉冲信号v2的占空比。

Step5：设置图像像素信号。采用不同占空比的9个v1信号对应9个像素值，分别传输到忆阻桥中进行卷积运算，将运算结果写入图片存储芯片中。T1为单位周期对应，像素灰度映射到0和1之间的值即是像素的占空比。

此系统中我们以mV和ns作为标准单位。忆阻器模型中设置k_L＝10^-8，k_S＝10^-5，经计算可知长时记忆电阻ΔM_L和短时记忆电阻ΔM_S等于输入电压信号v3和v2的占空比。取v3＝100mV，单位周期T3为10μs，v2＝10mV，单位周期T2为1μs，v1＝1mV，单位周期T1为1ns。以图片第一行第二列像素信号为例，灰度值为162，对应占空比为0.6353，第一组算子切换短时记忆算子为1/9，长时记忆算子为2/16，第二组算子切换短时记忆为-1，长时记忆为1，缩小10倍后第一组算子短时记忆算子为-0.1/9，长时记忆算子为0.2/16，第二组算子短时记忆为-0.1，长时记忆为0.1，根据公式(20)(23)(24)(27)，可知第一组算子切换的控制信号幅值和占空比为，(v3，1)(-v3，15.8/32)(v2，1)，(-v2，8.9/18)，第二组算子切换的控制信号为(v3，1)，(-v3，0.45)，(-v2，1)，(v2，0.45)，控制信号如图4所示。由于此处两个算子切换芯片可以并行，我们将衰减速度设为处理完5行像素所需的时间，所以在第一个算子芯片开始处理图片的时候，第二个算子芯片就可以开始设置算子，在第一个算子芯片处理完前5行像素就可以开始并行处理图片了，此时系统处理图片所需的最长时间为201.5μs。最后图片处理效果如图5(a)和图5(b)所示。对比图5(a)和图5(b)，图5(a)明显偏暗，主要原因有两个，一个是衰减速度偏快，像素信号电压偏小，没有办法抵消衰减量，导致整幅图片像素值偏低，第二个原因是算子浮动，导致图片产生一定误差，而每一次算子处理的图片都是上一个算子处理完之后的图片，所以不同算子处理后的图片误差会叠加，从而使最终的图片差距加大。不带阈值的算子自切换系统处理里，算子浮动与图片像素的分布，衰减速度和像素信号幅值相关，可以通过调整三者相关变量来控制误差。比如将图片像素脉冲信号的幅值调整为1.4mV，图片误差就小了很多，如图5(d)(e)(f)所示。如果要完全避免算子浮动的误差，可以采用只具有长时记忆的忆阻器进行不同算子的重写，也即所有算子都采用长时记忆表示，在图片处理过程中，算子模板稳定，所以图片卷积运算结果稳定，但因为长时记忆算子写入时间和功耗都要比短时记忆算子写入时间和功耗大很多，如表1所示，所以需要的时间和功耗都会更大。对于具有大量的卷积运算的神经网络来说，本发明提出的长短时记忆算子切换系统会具有更快的处理速度和更低的能耗，不过为保证准确性在可接受范围内，样本图片不宜过大，而且具有阈值特性的忆阻器会具有更好的效果。

表1长时切换和短时切换能耗对比

本发明利用遗忘忆阻桥设计算子自切换系统，既可以实现算子的卷积运算，还可以利用遗忘效应实现正负权值算子之间的切换。将算子自切换系统应用于图片处理，不仅可以保证图片的预处理效果，还能提高处理速度，降低功耗。图片算子切换系统可以在遗忘忆阻器器件和模型、图片算子模板和个数、脉冲控制信号幅值和衰减速度等方面进行变化。

本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。

Claims (5)

1.一种基于遗忘忆阻桥的并行多算子卷积运算器，其特征在于，包括算子切换芯片、K个算子芯片、K个存储芯片和镜像电路，算子切换芯片包括若干遗忘忆阻桥，像素信号与忆阻桥进行卷积计算后得到电压信号，电压信号通过镜像电路转换为电流信号，电流信号传输至存储芯片，其中，遗忘忆阻桥的设置方式为：

令遗忘忆阻桥的长短时表示为长短记忆算子，通过设置遗忘忆阻桥以桥式电路环形连接4个遗忘忆阻器M1,M2,M4和M3，电压输入端位于M1和M3之间，M1和M2之间引出电压输出端的一个端级，M3和M4之间引出电压输出端的另一个端级，其中M1和M2反向，M3和M4反向，M1和M4相同，M2和M3相同，使得输出电压和输入电压成比例，其中，存储芯片包括非易失性忆阻器，一个忆阻器对应表示一个像素，忆阻桥分压公式为：

其中，V_A为正极电压，V_B为负极电压；

输入输入电压与突触权重关系为：

Vout＝wVin (2)

其中，w为权值。

2.根据权利要求1所述的基于遗忘忆阻桥的并行多算子卷积运算器，其特征在于，所述算子芯片中包括N个算子，每个算子包括长时算子和短时算子。

3.根据权利要求1或2所述的基于遗忘忆阻桥的并行多算子卷积运算器，其特征在于，所述遗忘忆阻器包括长时记忆特性和短时记忆特性的忆阻器，其中：长时记忆电阻微分方程为：

dM_L＝k_Lsign(i₃)i₃^2 (4)

其中：M_L为长时记忆电阻，i₃为长时记忆写电流，k_L为长时记忆变化常数，sign(i₃)为电流信号i₃的符号；

短时记忆电阻微分方程为：

dM_s＝k_ssign(i₂)i₂^2-sign(M_s-M_l)f,if M_s≠M_l (5)

其中：M_S为短时记忆电阻，i₂为短时记忆写电流，k_S为短时记忆变化常数，sign(i₂)为电流信号i₂的符号，f为衰减速度，当M_S不等于M_L时，Ms以固定速度f衰减至长时记忆，M_S等于M_L时不再衰减，也即f＝0。

4.根据权利要求3所述的基于遗忘忆阻桥的并行多算子卷积运算器，其特征在于，所述电压输入端采用固定赋值脉冲信号，设置忆阻器的最大电阻映射为1，最小电阻映射为0，此时长时记忆电阻变化值为：

ΔM_L＝k_Lsign(v₃)v₃^2t (6)

其中，i3＝Vin＝v3

短时记忆电阻变化值为：

ΔM_s＝k_ssign(v₂)v₂^2t-sign(M_s-M_l)ft,if M_s≠M_l (7)

其中，t为脉冲作用时间，由占空比决定，i2＝Vin＝v2。

5.根据权利要求4所述的基于遗忘忆阻桥的并行多算子卷积运算器，其特征在于，所述算子切换芯片中重置信号采用高电压设置长时记忆，采用低电压设置短时记忆。

Images