CN113642723A - 一种实现原-异位训练的gru神经网络电路 - Google Patents

一种实现原-异位训练的gru神经网络电路 Download PDF

Info

Publication number
CN113642723A
CN113642723A CN202110863399.6A CN202110863399A CN113642723A CN 113642723 A CN113642723 A CN 113642723A CN 202110863399 A CN202110863399 A CN 202110863399A CN 113642723 A CN113642723 A CN 113642723A
Authority
CN
China
Prior art keywords
voltage
circuit
output
neural network
array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110863399.6A
Other languages
English (en)
Other versions
CN113642723B (zh
Inventor
代月花
王旭
冯哲
胡古月
邹建勋
杨菲
强斌
朱成龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202110863399.6A priority Critical patent/CN113642723B/zh
Publication of CN113642723A publication Critical patent/CN113642723A/zh
Application granted granted Critical
Publication of CN113642723B publication Critical patent/CN113642723B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Semiconductor Integrated Circuits (AREA)
  • Amplifiers (AREA)

Abstract

本发明公开了一种实现原‑异位训练的GRU神经网络电路，所述电路包括3个M+N+1行M列个忆阻器构成的阵列，以及多个模拟乘法器和加法器，其中每个忆阻器阵列的下方均连接有由电阻和运放构成的反向比例电路，每个阵列都形成下方的运算结构；对于左边的忆阻器阵列，每列输出电压经过反向比例电路后输出电压与前一时刻的输出电压经过模拟乘法器后得到结果，该结果再输入至右边忆阻器阵列的横向输入端；前一时刻电压与中间忆阻器阵列每列输出电压经过模拟乘法器运算后，结果输出至加法器；最终加法器输出的电压，用于下一时刻的输入。该电路能够解决GRU神经网络电路异位训练映射误差大，原位训练结构复杂且抗噪能力弱的问题。

Description

一种实现原-异位训练的GRU神经网络电路
技术领域
本发明涉及神经网络电路，尤其涉及一种实现原-异位训练的GRU神经网络电路。
背景技术
目前，人工智能的成功很大程度上是由于深度神经网络的进步，深度神经网络有多种结构，其中循环神经网络(RNN)是一个重要的结构，循环神经网络(RNN)有多种改进版本，较为常用的有长短时记忆(LSTM)和门可控循环单元(GRU)等，这些版本可以有效的改善了RNN中的梯度消失以及梯度爆炸问题。其中长短时记忆(LSTM)已存在神经网络电路，但是另一种改进版本门可控循环单元(GRU)神经网络电路却少有设计。
现有技术中的GRU神经网络电路普遍存在异位训练映射误差大，原位训练结构复杂且抗噪能力弱的问题，而现有技术中缺乏相应的解决方案。
发明内容
本发明的目的是提供一种实现原-异位训练的GRU神经网络电路，该电路能够解决GRU神经网络电路异位训练映射误差大，原位训练结构复杂且抗噪能力弱的问题。
本发明的目的是通过以下技术方案实现的：
一种实现原-异位训练的GRU神经网络电路，所述电路包括3个M+N+1行M列个忆阻器构成的阵列，以及多个模拟乘法器和加法器，其中：
每个忆阻器阵列的下方均连接有由电阻RF和运放构成的反向比例电路，每个阵列都形成下方的运算结构，M是GRU神经网络电路的单元数；N是输入电压的数量；
对于左边的忆阻器阵列，每列输出电压经过反向比例电路后输出电压Γr与前一时刻的输出电压
Figure BDA0003186614040000011
经过模拟乘法器后得到结果，该结果再输入至右边忆阻器阵列的横向输入端；
右边忆阻器阵列的每列输出电压经过反向比例电路后输出的电压C′<t>与中间忆阻器阵列的每列输出电压经过反向比例电路后输出的电压Γu经过模拟乘法器运算，结果输出到加法器；
前一时刻电压
Figure BDA0003186614040000021
与中间忆阻器阵列每列输出电压-Γu经过模拟乘法器运算后，结果输出至加法器；
同时前一时刻电压
Figure BDA0003186614040000022
也输出至加法器；
最终加法器输出的电压
Figure BDA0003186614040000023
用于下一时刻的输入。
由上述本发明提供的技术方案可以看出，上述电路能够解决GRU神经网络电路异位训练映射误差大，原位训练结构复杂且抗噪能力弱的问题。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的实现原-异位训练的GRU神经网络电路结构示意图；
图2为发明实施例所述原位模拟运算的忆阻器交叉杆阵列结构示意图；
图3为本发明实施例所述电导调整电路的结构示意图；
图4为本发明实施例所述GRU神经网络电路后端的异位训练网络电路结构示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，这并不构成对本发明的限制。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
如图1所示为本发明实施例提供的实现原-异位训练的GRU神经网络电路结构示意图，所述电路主要包括3个M+N+1行M列个忆阻器构成的阵列，多个模拟乘法器和加法器其中：
每个忆阻器阵列的下方均连接有由电阻RF和运放构成的反向比例电路，每个阵列都形成下方的运算结构，M是GRU神经网络电路的单元数；N是输入电压的数量；
对于左边的忆阻器阵列，每列输出电压经过反向比例电路后输出电压Γr与前一时刻的输出电压
Figure BDA0003186614040000024
经过模拟乘法器后得到结果，该结果再输入至右边忆阻器阵列的横向输入端；
右边忆阻器阵列的每列输出电压经过反向比例电路后输出的电压C′<t>与中间忆阻器阵列的每列输出电压经过反向比例电路后输出的电压Γu经过模拟乘法器运算，结果输出到加法器；
前一时刻电压
Figure BDA0003186614040000031
与中间忆阻器阵列每列输出电压-Γu经过模拟乘法器运算后，结果输出至加法器；
同时前一时刻电压
Figure BDA0003186614040000032
也输出至加法器；
最终加法器输出的电压
Figure BDA0003186614040000033
用于下一时刻的输入。
如图2所示为发明实施例所述原位模拟运算的忆阻器交叉杆阵列结构示意图，所述忆阻器阵列采用交叉杆结构，电路横向输入电压共有M+N+1个，分别是：N个当前时刻输入电压Vx，M个前一时刻输入电压Vc，还有一个偏置电压Vb；
每个横向输入电压经过纵列的电阻Rs与运放和电阻RF形成反向比例电路，输出的电压经过底端的电阻RF转换成电流，与对应列的纵向忆阻器输入电流进行求和(依据KCL基尔霍夫电流定律)；
纵列的电阻Rs能够达到减小忆阻器权重的作用，无需两个正负权重矩阵进行求和；
通过每一列底端的运放和电阻Ra形成近似激活函数，求和的电流会得到最终的输出电压Vo，以便进行下一步的运算。
具体实现中，所述电路还外接有电导调整电路，如图3所示为本发明实施例所述电导调整电路的结构示意图，该电导调整电路包括：
每个纵向电压VU与运放U1和电阻RF1形成的反向比例电路，在经过绝对值电路ABS，输入两个比较器电路中，分别和比较电压V1、V2进行比较；
运放U2输出电压为VO1；
运放U3的输出与运放U2的输出经过与门后输出电压VO2；
该电导调整电路根据忆阻器阵列的交叉杆结构形成的横向导通通路，逐行逐个的调整每个忆阻器的电导，具体来说：
当电导调整电路接在第一行的忆阻器阵列时，先对纵向电压VU<1>施加正阈值电压
Figure BDA0003186614040000034
由于运放U1正负输入端虚短的关系，第一行第一个忆阻器M1，1电导上升；
当施加的纵向电压VU<1>为负阈值电压
Figure BDA0003186614040000035
时，忆阻器M1，1电导下降，此行其它忆阻器并没有形成通路，同理其他行的忆阻器电导也不会发生变化；
如此循环，实现权重矩阵到忆阻器阵列的映射。
结合图3，每个忆阻器电导的具体调整步骤为：
对一行中的某一忆阻器施加阈值电压，经过运算放大器U1和绝对值电路ABS实现VABS＝|VTH|·RF1·Gi，j，分别与V1＝/VTH/·RF1·G1和V2＝/VTH/·RF1·G2进行电压比较，G1与G2分别为目标电导值Gi，j左右误差值，此值在编程的允许误差内，且在后面的原位训练时会针对此误差值进行全连接层的调整；
当Gi，j介于G1与G2之间时，VO1＝VO2.为逻辑“1”(高电平)，表示电导调整完成，进行下一个调整，否则输出VO2为逻辑“0”(低电平)，当VO1为逻辑“1”，则电导值Gi，j调整过大，此时输入改为负阈值电压
Figure BDA0003186614040000041
降低Gi，j，使得VO2为高电平即调整完成。
同理，若VO1为逻辑“0”，此时输入改为正阈值电压
Figure BDA0003186614040000042
如此循环，实现权重矩阵到忆阻器阵列的映射。
如图4所示为本发明实施例所述6RU神经网络电路后端的异位训练网络电路结构示意图，在所述GRU神经网络电路的后端还连接有全连接层阵列电路，其中：
所述全连接层阵列电路的横向输入电压a<t>为所述GRU神经网络电路的M个输出电压
Figure BDA0003186614040000043
输入电压Vb为偏置电压；
通过在所述GRU神经网络电路的忆阻器阵列的后端增加两个电阻Rb和运放构成的电压反向器，最终的输出电压Y<X>为所述GRU神经网络电路的目标值；
其中，X为纵向电压数，可以根据实际应用需求进行设定，例如识别图像像素点大小为4*4，则X即为16。
具体实现中，所述全连接层更新的规则使用由Hirstsuzai提出的随机权重更新算法RWC，有效的避免了梯度下降算法中关于求导方面硬件难以实现的问题；
随机权重更新(RWC)算法在首次映射完毕后，多次原位训练最后的全连接层，以避免GRU神经网络电路精确度下降的问题；
另外，所述RWC算法可以由外围电路设计实现。
基于上述电路的结构，所述电路的具体工作过程为：
1、首先由软件训练得到忆阻器阵列的权重，并且更新忆阻器阵列权重；
2、横向输入电压
Figure BDA0003186614040000051
Vb进入所述模拟运算电路再连接最后的全连接层，得到输出的目标值；
3、在输出目标值与实际值之间进行比较，运用RWC算法对最后的全连接层进行权重迭代更新若干次；
4、在需要输出时，目标值电压Y<1>、Y<2>、Y<X>经由外围电路产生最后的输出；
假若输出结果不够理想，则返回第3步继续进行直至得到理想结果。
值得注意的是，本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。本文背景技术部分公开的信息仅仅旨在加深对本发明的总体背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

Claims (4)

1.一种实现原-异位训练的GRU神经网络电路，其特征在于，所述电路包括3个M+N+1行M列个忆阻器构成的阵列，以及多个模拟乘法器和加法器，其中：
每个忆阻器阵列的下方均连接有由电阻RF和运放构成的反向比例电路，每个阵列都形成下方的运算结构，M是GRU神经网络电路的单元数；N是输入电压的数量；
对于左边的忆阻器阵列，每列输出电压经过反向比例电路后输出电压Γr与前一时刻的输出电压
Figure FDA0003186614030000011
经过模拟乘法器后得到结果，该结果再输入至右边忆阻器阵列的横向输入端；
右边忆阻器阵列的每列输出电压经过反向比例电路后输出的电压C′<t>与中间忆阻器阵列的每列输出电压经过反向比例电路后输出的电压Γu经过模拟乘法器运算，结果输出到加法器；
前一时刻电压
Figure FDA0003186614030000012
与中间忆阻器阵列每列输出电压-Γu经过模拟乘法器运算后，结果输出至加法器；
同时前一时刻电压
Figure FDA0003186614030000013
也输出至加法器；
最终加法器输出的电压
Figure FDA0003186614030000014
用于下一时刻的输入。
2.根据权利要求1所述实现原-异位训练的GRU神经网络电路，其特征在于，所述忆阻器阵列采用交叉杆结构，电路横向输入电压共有M+N+1个，分别是：N个当前时刻输入电压Vx，M个前一时刻输入电压Vc，还有一个偏置电压Vb；
每个横向输入电压经过纵列的电阻Rs与运放和电阻RF形成反向比例电路，输出的电压经过底端的电阻RF转换成电流，与对应列的纵向忆阻器输入电流进行求和；
纵列的电阻Rs能够达到减小忆阻器权重的作用，无需两个正负权重矩阵进行求和；
通过每一列底端的运放和电阻Ra形成近似激活函数，求和的电流会得到最终的输出电压Vo，以便进行下一步的运算。
3.根据权利要求1所述实现原-异位训练的GRU神经网络电路，其特征在于，所述电路还外接有电导调整电路，该电导调整电路包括：
每个纵向电压VU与运放U1和电阻RF1形成的反向比例电路，在经过绝对值电路ABS，输入两个比较器电路中，分别和比较电压V1、V2进行比较；
运放U2输出电压为VO1；
运放U3的输出与运放U2的输出经过与门后输出电压VO2；
所述电导调整电路根据忆阻器阵列的交叉杆结构形成的横向导通通路，逐行逐个的调整每个忆阻器的电导，具体来说：
当电导调整电路接在第一行的忆阻器阵列时，先对纵向电压VU<1>施加正阈值电压
Figure FDA0003186614030000021
由于运放U1正负输入端虚短的关系，第一行第一个忆阻器M1，1电导上升；
当施加的纵向电压VU<1>为负阈值电压
Figure FDA0003186614030000022
时，忆阻器M1，1电导下降，此行其它忆阻器并没有形成通路，同理其他行的忆阻器电导也不会发生变化；
如此循环，实现权重矩阵到忆阻器阵列的映射。
4.根据权利要求1所述实现原-异位训练的GRU神经网络电路，其特征在于，在所述GRU神经网络电路的后端还连接有全连接层阵列电路，其中：
所述全连接层阵列电路的横向输入电压a<t>为所述GRU神经网络电路的M个输出电压
Figure FDA0003186614030000023
输入电压Vb为偏置电压；
通过在所述GRU神经网络电路的忆阻器阵列的后端增加两个电阻Rb和运放构成的电压反向器，最终的输出电压Y<X>为所述GRU神经网络电路的目标值；
其中，X为纵向电压数，根据实际应用需求进行设定。
CN202110863399.6A 2021-07-29 2021-07-29 一种实现原-异位训练的gru神经网络电路 Active CN113642723B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110863399.6A CN113642723B (zh) 2021-07-29 2021-07-29 一种实现原-异位训练的gru神经网络电路

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110863399.6A CN113642723B (zh) 2021-07-29 2021-07-29 一种实现原-异位训练的gru神经网络电路

Publications (2)

Publication Number Publication Date
CN113642723A true CN113642723A (zh) 2021-11-12
CN113642723B CN113642723B (zh) 2024-05-31

Family

ID=78418830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110863399.6A Active CN113642723B (zh) 2021-07-29 2021-07-29 一种实现原-异位训练的gru神经网络电路

Country Status (1)

Country Link
CN (1) CN113642723B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170108627A (ko) * 2016-03-18 2017-09-27 국민대학교산학협력단 신경모방 멤리스터 크로스바 회로
CN109800870A (zh) * 2019-01-10 2019-05-24 华中科技大学 一种基于忆阻器的神经网络在线学习系统
CN109816096A (zh) * 2019-01-23 2019-05-28 长安大学 一种基于忆阻器的感知器神经网络电路及其调节方法
CN110222425A (zh) * 2019-06-09 2019-09-10 山东科技大学 一种具有孪生局部有源域三次多项式磁控忆阻器的等效模拟电路
CN110298435A (zh) * 2019-05-30 2019-10-01 长安大学 一种忆阻器型全域值bp神经网络电路
KR20190114212A (ko) * 2018-03-29 2019-10-10 국민대학교산학협력단 이진값 기반 신경회로망을 위한 단일 컬럼 멤리스터 크로스바 및 ｃｍｏｓ 활성화 함수 회로
US20190332927A1 (en) * 2018-04-25 2019-10-31 Denso Corporation Neural network circuit
WO2020052342A1 (zh) * 2018-09-11 2020-03-19 华中科技大学 一种基于非易失存储器的卷积神经网络片上学习系统
CN111460365A (zh) * 2020-03-10 2020-07-28 华中科技大学 一种基于忆阻线性神经网络的方程组求解器及其操作方法
CN112183739A (zh) * 2020-11-02 2021-01-05 中国科学技术大学 基于忆阻器的低功耗脉冲卷积神经网络的硬件架构
US20210097379A1 (en) * 2019-09-26 2021-04-01 Qatar Foundation For Education, Science And Community Development Circuit for calculating weight adjustments of an artificial neural network, and a module implementing a long short-term artificial neural network
CN112734022A (zh) * 2021-02-02 2021-04-30 郑州轻工业大学 一种具有识别和排序功能的四字符忆阻神经网络电路
WO2021082325A1 (zh) * 2019-11-01 2021-05-06 清华大学 基于忆阻器的神经网络的训练方法及其训练装置
CN112884141A (zh) * 2021-04-16 2021-06-01 安徽大学 一种忆阻耦合Hindmarsh-Rose神经元电路
WO2021103122A1 (zh) * 2019-11-29 2021-06-03 珠海复旦创新研究院 一种基于忆阻器阵列的半加器、全加器及乘法器

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170108627A (ko) * 2016-03-18 2017-09-27 국민대학교산학협력단 신경모방 멤리스터 크로스바 회로
KR20190114212A (ko) * 2018-03-29 2019-10-10 국민대학교산학협력단 이진값 기반 신경회로망을 위한 단일 컬럼 멤리스터 크로스바 및 ｃｍｏｓ 활성화 함수 회로
US20190332927A1 (en) * 2018-04-25 2019-10-31 Denso Corporation Neural network circuit
WO2020052342A1 (zh) * 2018-09-11 2020-03-19 华中科技大学 一种基于非易失存储器的卷积神经网络片上学习系统
CN109800870A (zh) * 2019-01-10 2019-05-24 华中科技大学 一种基于忆阻器的神经网络在线学习系统
CN109816096A (zh) * 2019-01-23 2019-05-28 长安大学 一种基于忆阻器的感知器神经网络电路及其调节方法
CN110298435A (zh) * 2019-05-30 2019-10-01 长安大学 一种忆阻器型全域值bp神经网络电路
CN110222425A (zh) * 2019-06-09 2019-09-10 山东科技大学 一种具有孪生局部有源域三次多项式磁控忆阻器的等效模拟电路
US20210097379A1 (en) * 2019-09-26 2021-04-01 Qatar Foundation For Education, Science And Community Development Circuit for calculating weight adjustments of an artificial neural network, and a module implementing a long short-term artificial neural network
WO2021082325A1 (zh) * 2019-11-01 2021-05-06 清华大学 基于忆阻器的神经网络的训练方法及其训练装置
WO2021103122A1 (zh) * 2019-11-29 2021-06-03 珠海复旦创新研究院 一种基于忆阻器阵列的半加器、全加器及乘法器
CN111460365A (zh) * 2020-03-10 2020-07-28 华中科技大学 一种基于忆阻线性神经网络的方程组求解器及其操作方法
CN112183739A (zh) * 2020-11-02 2021-01-05 中国科学技术大学 基于忆阻器的低功耗脉冲卷积神经网络的硬件架构
CN112734022A (zh) * 2021-02-02 2021-04-30 郑州轻工业大学 一种具有识别和排序功能的四字符忆阻神经网络电路
CN112884141A (zh) * 2021-04-16 2021-06-01 安徽大学 一种忆阻耦合Hindmarsh-Rose神经元电路

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
YUEHUA DAI: "Physics-based Modeling and Simulation of Dual Material Gate（DMG） LDMOS", APCCAS, 31 December 2006 (2006-12-31), pages 1500 - 1503, XP031071130 *
朱成龙: "基于神经网络的高并行大规模MIMO信号检测算法", 系统工程与电子技术, 30 April 2022 (2022-04-30) *
江先阳;容源;王永甲;张惟;: "忆阻计算时代来临了吗？", 微纳电子与智能制造, no. 01, 15 March 2020 (2020-03-15) *
王晓媛;金晨曦;周鹏飞;: "忆阻数字逻辑电路设计", 电子与信息学报, no. 04, 15 April 2020 (2020-04-15) *
胡飞;尤志强;刘鹏;邝继顺;: "基于忆阻器交叉阵列的卷积神经网络电路设计", 计算机研究与发展, no. 05, 15 May 2018 (2018-05-15) *

Also Published As

Publication number Publication date
CN113642723B (zh) 2024-05-31

Similar Documents

Publication Publication Date Title
EP3373210B1 (en) Transposing neural network matrices in hardware
US11409438B2 (en) Peripheral circuit and system supporting RRAM-based neural network training
CN111460365B (zh) 一种基于忆阻线性神经网络的方程组求解器及其操作方法
CN108154228B (zh) 一种人工神经网络计算装置和方法
Jeong et al. Parasitic effect analysis in memristor-array-based neuromorphic systems
CN109543827B (zh) 生成式对抗网络装置及训练方法
Li et al. Training itself: Mixed-signal training acceleration for memristor-based neural network
US10664745B2 (en) Resistive processing units and neural network training methods
CN109784480B (zh) 一种基于卷积神经网络的电力系统状态估计方法
US10468098B2 (en) In-cell differential read-out circuitry for reading signed weight values in resistive processing unit architecture
CN110580519B (zh) 一种卷积运算装置及其方法
WO2023116923A1 (zh) 一种存算一体装置和计算方法
US11537863B2 (en) Resistive processing unit cell having multiple weight update and read circuits for parallel processing of data using shared weight value
KR20210070262A (ko) 파이프라인 구조를 가지는 인공신경망용 연산 가속 장치
GB2601701A (en) Performing dot product operations using a memristive crossbar array
CN113841164B (zh) Rpu阵列的噪声和信号管理
CN113642723A (zh) 一种实现原-异位训练的gru神经网络电路
Soliman et al. N-digits ternary carry lookahead adder design
US11556770B2 (en) Auto weight scaling for RPUs
Lee et al. Quantized convolutional neural network implementation on a parallel-connected memristor crossbar array for edge AI platforms
CN117751346A (zh) 用于存储器中数字计算的折叠列加法器架构
US11157594B2 (en) Matrix multiplication in hardware using modular math
TWI795135B (zh) 神經網路模型的量化方法及深度學習加速器
Sarvan et al. Implementation of ANN training module on field programmable gate arrays
Khodabandehloo et al. A study on resistive-type truncated CVNS distributed neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant