CN111433790B - 将突触器件的权重的不对称性最小化的脉冲驱动装置及其方法 - Google Patents

将突触器件的权重的不对称性最小化的脉冲驱动装置及其方法 Download PDF

Info

Publication number
CN111433790B
CN111433790B CN201880073979.1A CN201880073979A CN111433790B CN 111433790 B CN111433790 B CN 111433790B CN 201880073979 A CN201880073979 A CN 201880073979A CN 111433790 B CN111433790 B CN 111433790B
Authority
CN
China
Prior art keywords
long
term
synaptic
program
count
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880073979.1A
Other languages
English (en)
Other versions
CN111433790A (zh
Inventor
宋润洽
李呈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111433790A publication Critical patent/CN111433790A/zh
Application granted granted Critical
Publication of CN111433790B publication Critical patent/CN111433790B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Semiconductor Memories (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及将在硬件神经网络中的长时程增强(Long‑Term Potentiation，LTP)与长时程抑制(Long‑Term Depression，LTD)之间的不对称性的影像最小化的脉冲驱动装置及其方法，通过分离执行第一运算和第二运算来将长时程增强程序与长时程抑制程序之间的不对称性最小化，上述第一运算仅执行长时程增强程序，上述第二运算执行长时程增强程序及长时程抑制程序，从而可提高实际结果的相同率。

Description

将突触器件的权重的不对称性最小化的脉冲驱动装置及其 方法
技术领域
本发明涉及将突触器件的权重的不对称性最小化的脉冲驱动装置及其方法，更详细地，涉及使将在硬件神经网络中的长时程增强(LTP，Long-Term Potentiation)与长时程抑制(LTD，Long-Term Depression)之间的不对称性的影像最小化的技术。
背景技术
通常，硬件神经网络中的长时程增强与长时程抑制之间的非对称性行为问题一直存在。根据对上述问题的现有的各种研究，相变材料(phase-change material；PCM)器件的电导在长时程增强程序中逐渐增加或在长时程抑制程序急剧减少。
例如，在提供包含长时程增强噪声及长时程抑制噪声的各个训练模式的情况下，具有在多个学习阶段(learning epoch)之后去除长时程增强噪声的影响或难以去除长时程抑制噪声的影响的局限。
并且，通常，突触在任一模式经历长时程增强程序，在其他模式经历长时程抑制程序。因此，优选地，中间权重值(weighting)的突触通过经历相同数量的长时程增强程序及长时程抑制程序来维持权重值，但是，实质上由于长时程增强程序与长时程抑制程序之间的不对称性，具有权重值大大减少的局限。
在现有的申请专利韩国公开专利第10-2015-0034900号涉及连接神经元电路的突触电路、构成神经形态电路的单位单元体及神经形态电路的技术，公开为了提高对称性而包括执行长时程增强的第一忆阻器及执行长时程抑制的第二忆阻器的技术。
但是，在韩国公开专利第10-2015-0034900号公开在以并联结构连接的两个忆阻器分别驱动长时程增强程序及长时程抑制程序的互不相同的程序的结构，因此，使长时程抑制噪声的概率最小化时受限。
发明内容
(一)要解决的技术问题
本发明的目的在于，提供如下的技术，即，以对在突触权重计入的计数与突触周期的比较结果为基础，提供负脉冲(negative pulse)或正脉冲(positive pulse)，通过执行以互不相同的脉冲方法为基础的运算来将长时程抑制噪声的概率最小化。
并且，本发明的目的在于，提供如下的技术，即，通过分离执行第一运算和第二运算来将长时程增强程序与长时程抑制程序之间的不对称性最小化，上述第一运算仅执行长时程增强程序，上述第二运算执行长时程增强程序及长时程抑制程序，从而可提高实际结果的相同率。
(二)技术方案
根据本发明的实施例，提供一种将长时程增强与长时程抑制之间的不对称性最小化的装置，包括：模式训练部，利用连接分层构成的神经元节点(neuron nodes)的突触权重(synaptic weight)来将电信号模式化；判断部，对在上述突触权重计入(counting)的计数(counter number)与突触周期(epoch)进行比较；第一运算部，以比较结果为基础，在上述计数与上述突触周期不相同的情况下，执行与模式化的上述突触有关的长时程增强程序；以及第二运算部，以比较结果为基础，在上述计数与上述突触周期相同的情况下，执行与模式化的上述突触有关的上述长时程增强程序及长时程抑制程序。
上述判断部可判断在上述突触权重计入的上述计数(例如，n)y与上述突触周期(例如，m)是否相同。
在上述计数与上述突触周期相同的情况下，上述第一运算部提供负脉冲，可执行用于突触的相关性(correlating)的上述长时程增强程序。
上述第一运算部可通过执行上述长时程增强程序来增加长时程增强突触权重的平均变化。
上述长时程增强突触权重通过与结晶阈值(crystallizing threshold，Vc)有关的电位差而增加，长时程抑制突触权重可维持低于上述结晶阈值的电位差。
在上述第一运算部进行工作之后，上述判断部可反复判断在上述突触权重计入的计数(例如，n+1)与上述突触周期(例如，m)是否相同。
在上述计数与上述突触周期相同的情况下，上述第二运算部提供正脉冲，可执行与相关的(correlated)突触有关的上述长时程增强程序及上述长时程抑制程序。
上述第二运算部通过执行上述长时程增强程序来增加长时程增强突触权重的平均变化，可通过执行上述长时程抑制程序来减少长时程抑制突触权重的平均变化。
上述长时程增强突触权重通过结晶阈值与熔融阈值(melting threshold，Vm)之间的电位差而增加，上述长时程抑制突触权重可通过与上述熔融阈值有关的电位差而减少。
在将在上述突触权重计入的上述计数初始化之后，上述第二运算部可执行上述长时程增强程序及上述长时程抑制程序。
本发明实施例的将长时程增强与长时程抑制之间的不对称性最小化的装置的动作方法包括：利用连接分层构成的神经元节点的突触权重来将电信号模式化的步骤；在上述突触权重计入计数的步骤；对所计入的上述计数与突触周期进行比较的步骤；以及以比较结果为基础来执行与模式化的上述突触有关的第一运算或第二运算的步骤。
在执行第一运算或第二运算的上述步骤中，以比较结果为基础，在上述计数与上述突触周期不相同的情况下，可执行上述第一运算，上述第一运算为与模式化的上述突触有关的长时程增强程序。
在上述计入计数的步骤中，在上述第一运算的工作之后，计入上述突触权重，在对所计入的上述计数与突触周期进行比较的步骤中，可反复判断在突触权重计入的计数(例如，n+1)与上述突触周期(例如，m)是否相同。
在执行第一运算或第二运算的上述步骤中，以比较结果为基础，在上述计数与上述突触周期相同的情况下，可执行上述第二运算，上述第二运算为与模式化的上述突触有关的长时程增强程序及长时程抑制程序。
(三)有益效果
根据本发明的实施例，以在突触权重计入的计数与突触周期的比较结果为基础，提供负脉冲或正脉冲，可通过执行以互不相同的脉冲方法为基础的运算来将长时程抑制噪声的概率最小化。
并且，根据本发明的实施例，可通过分离执行第一运算和第二运算来将长时程增强程序与长时程抑制程序之间的不对称性最小化，上述第一运算仅执行长时程增强程序，上述第二运算执行长时程增强程序及长时程抑制程序，从而可提高实际结果的相同率。
并且，根据本发明的实施例，即使具有模式噪声，也可长时间维持神经网，输出结果与实际结果(或完全相同)相近。
附图说明
图1为示出将在本发明实施例的突触器件中的不对称性最小化的脉冲驱动装置的结构的框图。
图2为示出本发明实施例的将突触器件的不对称性最小化的脉冲驱动方法的算法的流程图。
图3示出本发明实施例的电路的例。
图4示出本发明实施例的脉冲效果的例。
图5为示出与输出结果及实际结果有关的结果的图像。
图6及图7示出在互不相同的噪声比例中的实验结果。
图8及图9为示出本发明实施例的统计分析结果的曲线图。
具体实施方式
以下，参照附图详细说明本发明的实施例。但是，本发明并不限定或局限于实施例。并且，在各个附图揭示的相同的附图标记表示相同的部件。
并且，在本说明书使用的术语(terminology)为为了适当地表达本发明的优选实施例而使用的术语，这可根据收听人员、操作人员的意图或本发明所述技术领域的惯例等不同。因此，组根据本说明书全文内容定义本术语。
本发明提出用于将在硬件神经网络中的长时程增强与长时程抑制之间的非对称的影响最小化的技术。
在一次长时程抑制动作中，相变材料(PCM，Phase-Change Material)电导(G))的平均变化为一次长时程增强动作及时间(△G长时程抑制＝m×△G长时程增强)。在此情况下，现有技术中的长时程增强及长时程抑制动作为了在各个时间点(突触之后触发神经元时)将突触相互关联而执行，因此，在多个反复周期之后，由于长时程增强与长时程抑制之间的不对称性，产生输出结果与实际结果不相同的问题。
本发明的实施例可通过将长时程抑制动作数最小化来将长时程增强与长时程抑制之间的不对称性引起的输出结果与实际结果不相同最小化。在此情况下，实际结果与输出结果之间的差异可通过限制最大突触权重及最小突触权重及变动各个动作的△G产生。
以下，参照图1至图9详细说明将长时程增强与长时程抑制之间的不对称性的影像最小化的脉冲驱动装置及方法。
图1为示出将在本发明实施例的突触器件中的不对称性最小化的脉冲驱动装置的结构的框图。
参照图1，本发明实施例的将突触器件的不对称性最小化的脉冲驱动装置将长时程增强与长时程抑制之间的不对称性最小化。
由此，本发明实施例的脉冲驱动装置100包括模式训练部110、判断部120、第一运算部130以及第二运算部140。
模式训练部110利用连接分层构成的神经元节点的突触权重来将电信号模式化。
例如，连接神经元(neuron)节点与节点的突触权重(synaps weight value)分层构成，为如下的结构，即，向神经元层(neurons layer)流入的电信号在设置权重之后想下一层传递，持续向下一层传递来传递至最终层。
在此情况下，可通过学习过程获取突触器件中的多个层的多个节点的联接和连接强度，即，权重。即，通过作为反向传播算法(Back Propagation)等的模式识别或神经网算法的软件先设置多个节点的权重后，可通过适用上述权重的感知器神经网络模型(Perceptron Neural Network Model)执行与外部刺激信号有关的模式化作业。
通过人工神经网的学习为通过经验变化形成大脑神经网的多个神经元之间的突触结合的效率，从而进行的学习(通过经验的动作改善、行动目的适当、不可逆变化)，尤其，反向传播算法(B.p.，Back Propagation)为在1986年David Rumelhart等提出的算法，求得可通过将与各个输入模式有关的输出模式的异常值与实际值的误差朝向输出层向相反侧传播的动作识别输入模式的突触结合的传递效率的处理方式。
判断部120对在突触权重计入的计数与突触周期进行比较。
例如，向初始突触权重(Initial Weights)赋予初始计数(counter number：n＝0)，计数可根据模式化的突触的结合及触发(Integrate and fire；I&F)计入(counting，+1)。判断部120可判断所计入的计数(例如，n)与已设置的突触周期(例如，m)是否相同(n＝m？)。
以判断部120判断的相同(n＝m)或不相同(n≠m)判断结果为基础，本发明实施例的将突触器件的不对称性最小化的脉冲驱动装置100执行第一运算部130或第二运算部140。
以判断部120的比较结果为基础，在计数与突触周期不相同的情况下，第一运算部130执行与模式化的突触有关的长时程增强程序。
例如，在计数与突触周期不相同的情况下，例如，在计数小于突触周期的情况下，第一运算部130提供负脉冲，可执行用于突触的相关性的长时程增强程序。
进而，第一运算部130可通过执行长时程增强程序来增加长时程增强突触权重的平均变化(△w)。并且，为了突触的相关性，第一运算部130仅执行长时程增强程序且不执行长时程抑制程序，因此，长时程抑制突触权重的平均变化(△w)为零(0)。在此情况下，上述长时程增强突触权重通过与结晶阈值有关的电位差而增加，长时程抑制突触权重可维持低于结晶阈值的电位差。
之后，在第一运算部130的工作之后，本发明实施例的将突触器件的不对称性最小化的脉冲驱动装置100的判断部120可反复判断在突触权重计入的计数(例如，n+1)与上述突触周期(例如，m)是否相同。
并且，以判断部120的比较结果为基础，在计数与突触周期相同的情况下，第二运算部140执行与模式化的突触有关的长时程增强程序及长时程抑制程序。
例如，在计数与突触周期相同的情况下，第二运算部140提供正脉冲，可执行与相关的突触有关的长时程增强程序及长时程增强程序。在此情况下，在将在突触权重计入的计数初始化之后，第二运算部140执行长时程增强程序及长时程抑制程序。
进而，第二运算部140可通过执行长时程增强程序及长时程抑制程序两者来增加长时程增强突触权重的平均变化(△w)并减少长时程抑制突触权重的平均变化(△w)。在此情况下，长时程增强突触权重通过结晶阈值与熔融阈值之间的电位差而增加，长时程抑制突触权重通过与熔融阈值有关的电位差而减少。
之后，在第二运算部140的工作之后，本发明实施例的将突触器件的不对称性最小化的脉冲驱动装置100的判断部120可反复判断在初始化的计数(例如，n＝0)计入(+1)的计数(例如，n)与上述突触周期(例如，m)是否相同。
图2位示出本发明实施例的将突触器件的不对称性最小化的脉冲驱动方法的算法的流程图。
参照图2，在步骤210中，可向初始突触权重赋予初始计数(counter number：n＝0)。
在步骤220中，本发明实施例的将突触器件的不对称性最小化的脉冲驱动方法利用连接分层构成的神经元节点的突触权重来将电信号模式化。之后，在步骤230中，可向模式化的突触适用结合及触发。在此情况下，上述结合及触发模型可以为不考虑神经元的复杂的离子通道特性且仅考虑外形电特性的模型，上述模型仅将电流输入与电压输出之间的关系公式化，因此，相比于霍奇金-哈斯利(Hodgkin-Huxley)的模型，能够以简单的形态表达。即使这样，由于将时间采用为信息处理的基本单位，因此，当适用于时空模式识别时，呈现好的性能。
在步骤240中，在初始突触权重计入初始计数(+1)，在步骤250中，判断所计入的计数(例如，n)与已设置的突触周期(例如，m)是否相同(If n＝m？)。
以在步骤250中的判断结果为基础，在计数与突触周期不相同的情况下，例如，在计数小于突触周期的情况下，提供步骤261中的作为负脉冲的第一脉冲(Pulse 1)。
在步骤262中，通过在步骤261提供的第一脉冲执行与模式化的突触有关的长时程增强程序，不执行长时程抑制程序。由此，在步骤262中，长时程增强突触权重的平均变化(△w)增加，长时程抑制突触权重的平均变化(△w)成为零(0)。
再次参照步骤250，以在步骤250中的判断结果为基础，在计数与突触周期相同的情况下，提供作为步骤271中的正脉冲的第二脉冲(Pulse 2)。在此情况下，步骤271将在突触权重计入的计数初始化(n＝0)。
在步骤272中，通过在步骤271提供的第二脉冲执行与模式化的突触有关的长时程增强程序及长时程抑制程序。由此，在步骤272中，长时程增强突触权重的平均变化(△w)增加，长时程抑制突触权重的平均变化(△w)减少。
之后，在步骤280中提取结果并结束。根据实施例，在步骤280中，在第一脉冲或第二脉冲的工作之后，本发明实施例的将突触器件的不对称性最小化的脉冲驱动方法可将步骤220的模式输入再动作来反复算法的构成。例如，在步骤261及步骤262的第一脉冲的工作之后，在突触权重计入计数(例如，n+1)来反复判断与突触周期(例如，m)是否相同。如另一例，在步骤271及步骤272的第二脉冲的工作之后，可反复判断在初始化的计数(例如，n＝0)计入(例如，+1)的计数(例如，n)与上述突触周期(例如，m)是否相同。
在如图2所示的算法中，长时程增强程序在所有触发事件(firing event)执行，长时程抑制程序仅在第m个触发事件执行。即，本发明实施例的将突触器件的不对称性最小化的脉冲驱动方法可通过图2所示的算法将长时程抑制噪声的概率最小化，根据实施例，在算法的驱动过程中可发生长时程抑制，即使发生长时程抑制，可通过后续(m-1)的长时程增强程序驱动去除其影响。
图3示出本发明实施例的电路的例，图4示出本发明实施例的脉冲效果的例。
更详细地，图3示出用于驱动本发明实施例的算法的电路的例，图4示出电路的脉冲波形(pulse shape)及权重更新效果(weight updating effect)的例。
参照图3，在本发明实施例的权重更新效果神经元电路310(Integrate and fireneuron circuit)中，除基本的结合及触发(integrate-and-fire)的功能块(functionblocks)之外，包括计数器(counter)320及尖峰发生器(spike generator)330。在此情况下，以逆方向尖峰提供两种脉冲(例如，第一脉冲331及第二脉冲332)，这可通过计数器320选择。
并不限定上述基本的结合及触发的功能块。
例如，在计数(n)小于突触周期(m)的情况下，提供第一脉冲331，并仅将长时程增强程序进行工作。如另一例，当计数(n)为突触周期(m)时，计数重置为0，提供第二脉冲332，并将长时程增强程序及长时程抑制程序两者进行工作。
在此情况下，第一脉冲331在第一个至第m-1个(1st to(m-1)th)的触发事件执行，第二脉冲332仅在第m个(mth)的触发事件执行。
参照图4，示出与第一脉冲410及第二脉冲420有关的脉冲波形及权重更新效果的例。
例如，与on-pixel相关的突触前神经元(pre-synaptic neurons)提供小振幅的正脉冲，以维持突触权重，长可提供时程增强的相关突触(correlating synapses)。并且，与off-pixel相关的突触前神经元提供负脉冲(negative pulse或no pulse)，可提供长时程抑制的相关突触。
进而，在提供作为与结晶阈值有关的负脉冲的第一脉冲410的情况下，长时程增强突触权重通过与结晶阈值有关的电位差而增加，长时程抑制突触权重维持低于结晶阈值的电位差。并且，在提供作为超出熔融阈值的正脉冲的第二脉冲420的情况下，长时程增强突触权重通过结晶阈值与熔融阈值之间的电位差而增加，长时程抑制突触权重通过与熔融阈值有关的电位差而减少。
图5为示出与输出结果及实际结果有关的结果图像。
更详细地，图5为示出完全匹配结果图像、失配(Mismatch)结果图像及以在本发明提出的算法为基础补偿(Compensation)的结果图像。所提出的上述结果图像为通过本发明实施例的将突触器件的不对称性最小化的脉冲驱动装置执行的输出结果物。
图5示出与本发明实施例的算法有关的100次学习后的平均权重差异(AverageWeight Difference；AWD)，示出分别在2/50、3/50、4/50、5/50、8/50、10/50、15/50、20/50各自的根据长时程抑制程序的长时程抑制突触权重的平均变化(△W长时程抑制)。
失配结果图像510可在8/50、10/50、15/50、20/50各自的长时程抑制突触权重的平均变化(△W长时程抑制)中产生噪声，可确认，相比于失配结果图像510，所提出的结果图像520与完全匹配结果图像(或实际结果图像)更相近。
在此情况下，通过下述数学式1计算平均权重差异。
数学式1
可通过上述数学式1计算失配结果及补偿的结果中的长时程抑制突触权重的平均变化(△W长时程抑制)值。例如，失配结果中的8/50、10/50、15/50、20/50各自的长时程抑制突触权重的平均变化(△W长时程抑制)值为0.943、1.484、3.304、5.694，补偿的结果中的8/50、10/50、15/50、20/50各自的长时程抑制突触权重的平均变化(△W长时程抑制)值为0.253、0.265、0.579、1.658。即，可利用本发明实施例的将突触器件的不对称性最小化的脉冲驱动装置将长时程抑制噪声的概率最小化。
图6及图7示出在互不相同的噪声比例中的实验结果。
更详细地，图6示出6.5％的噪声比例(Noise Fraction)中的实验结果图像及实验结果曲线图，图7示出20％的噪声比例中的实验结果图像及实验结果曲线图。
在此情况下，图6a部分及图7a部分示出失配结果，图6b部分及图7b部分示出补偿的结果。
参照图6a部分，可确认，平均权重差异随着算法的驱动数减少，最终平均权重差异(final AWD)随着失配的增加更大(larger)。
参照图6b部分，可确认平均权重差异随着算法的驱动数逐渐减少，最终平均权重差异通过失配情况(mismatch cases)减少。即，参照图6，可确认，本发明实施例的将突触器件的不对称性最小化的脉冲驱动装置通过执行提出的算法来改善抗噪声性(noiseendurance)。
图7a部分及图7b部分示出与图6a部分及图6b部分相似的方式的实验结果，在图7所示的失配结果及提出的结果中，可知，在20％的噪声比例中的长时程抑制噪声的影响严重。
图8及图9为示出本发明实施例的统计分析结果的曲线图。
更详细地，图8示出本发明实施例的长时程抑制与长时程增强的比例值(ratio ofLTD to LTP)和差异比例(difference ratio)值的结果曲线图，图9示出本发明实施例的长时程抑制与长时程增强的比例值与突触权重之和(sum of synaptic weights)的结果曲线图。
在此情况下，通过下述数学式2计算长时程增强与长时程抑制的比例，通过下述数学式3计算差异比例。
数学式2
其中，△W长时程抑制为长时程抑制突触权重的平均变化，△W长时程增强为长时程增强突触权重的平均变化。
数学式3
在此情况下，上述差异比例示出失配结果中的完全匹配结果为止的平均差异。
参照图8及图9，可确认，通过本发明实施例的算法输出的学习结果(learningresult或输出结果)与完全匹配(Fully-matching)相近，信号强度(signal strength)与完全匹配事例相近。
在此情况下，本发明实施例的将突触器件的不对称性最小化的脉冲驱动装置可向失配(mismatching)适用整数(integer，n)倍。例如，△W长时程抑制＝n×△W长时程增强。
以上说明的装置能够以硬件结构要素、软件结构要素和/或硬件结构要素及软件结构要素的组合体现。例如，在实施例中说明的装置及结构要素，如处理器、控制器、算术逻辑单元(ALU，arithmetic logic unit)数字信号处理器(digital signal processor)、微计算机、现场可编程阵列(FPA，field programmable array)、可编程序逻辑部件(PLU，programmable logic unit)、微处理器或可以执行并响应指令(instruction)的其他任何装置，可以利用一个以上的常用计算机或特殊目的计算机来体现。处理装置可以执行操作系统(OS)及在上述操作系统上执行的一个以上的软件应用程序。并且，处理装置还可响应软件的运行来访问、存储、操作、处理及生成数据。为了便于理解，说明了使用1个处理装置的情况，本发明所属技术领域的普通技术人员可以知道处理装置可以包括多个处理要素(processing element)和/或多种类型的处理要素。例如，处理装置可包括多个处理器或一个处理器及一个控制器。并且，还可以为如并行处理器(parallel processor)的其他处理结构(processing configuration)。
软件可以包括计算机程序(computer program)、代码(code)、指令(instruction)或这些中的一个以上的组合，以按需要进行工作的方式构成处理装置或者独立或结合性(collectively)地向处理装置下令。软件和/或数据通过处理装置解释或者向处理装置提供指令或数据而在一种类型的机械、结构要素(component)、物理装置、虚拟装置(virtualequipment)、计算机存储介质或装置或所传送的信号波(signal wave)永久或暂时具体化(embody)。软件分散在网络连接的计算机系统上，从而可通过分散的方法存储或运行。软件及数据可存储于一个以上的计算机可读记录介质。
实施例的方法能够以通过多种计算机单元执行的程序指令形态实现并存储在计算机可读介质。上述计算机可读介质可单独或组合包含程序指令、数据文件、数据结构等。记录在上述介质的程序指令可以为为了实施例特别设计并构成或对于计算机领域普通技术人员周知并使用的指令。计算机可读记录介质的例包括如硬盘、软盘及磁带等磁介质(magnetic media)、如CD-ROM及DVD的光记录介质(optical media)、如光磁软盘(floptical disk)的磁光介质(magneto-optical medium)以及如只读存储器(ROM)、随机存取存储器(RAM)、快闪存储器等的以存储并执行程序指令的方式特别勾陈的硬件装置。程序指令的例不仅包括如通过编译器制作的机器代码，还包括通过使用如解释器等可在计算机执行的高级语言代码。为了执行实施例的动作，如上所述的硬件装置可作为一个以上的软件模块来进行工作，反之亦然。
如上所述，虽然通过限定的实施例和附图说明了实施例，但只要是本发明所属技术领域的普通技术人员，可从上述记载进行多种修改及变形。例如，所说明的技术可通过按与所说明的方法不同的顺序执行和/或所说明的系统、结构、装置、电路等的结构要素按与所说明的方法不同的形态结合或组合，或者通过其他结构要素或等同技术方案代替或置换，也可以实现适当的结果。
因此，与其他实例、其他实施例及发明要求保护范围等同的内容也属于后述的发明要求保护范围。

Claims (7)

1.一种将突触器件中的不对称性最小化的脉冲驱动装置，用于将长时程增强与长时程抑制之间的不对称性最小化，其特征在于，包括：
模式训练部，利用连接分层构成的神经元节点的突触权重来将电信号模式化；
判断部，判断所述突触权重计入的计数与突触周期是否相同；
第一运算部，在所述计数与所述突触周期不相同的情况下，执行与模式化的所述突触有关的长时程增强程序，而不执行与模式化的所述突触有关的长时程抑制程序，其中，所述第一运算部通过执行所述长时程增强程序来增加长时程增强突触权重的平均变化；以及
第二运算部，在所述计数与所述突触周期相同的情况下，将所述突触权重计入的计数初始化之后，执行与模式化的所述突触有关的所述长时程增强程序及长时程抑制程序，其中，所述第二运算部通过执行所述长时程增强程序来增加长时程增强突触权重的平均变化，通过执行所述长时程抑制程序来减少长时程抑制突触权重的平均变化，
其中，在所述第一运算部进行工作之后，所述判断部反复判断所述突触权重计入的计数与所述突触周期是否相同，其中，计数根据模式化的突触的结合及触发而被计入。
2.根据权利要求1所述的将突触器件中的不对称性最小化的脉冲驱动装置，其特征在于，
在所述计数与所述突触周期不相同的情况下，所述第一运算部提供负脉冲，执行用于突触的相关性的所述长时程增强程序。
3.根据权利要求2所述的将突触器件中的不对称性最小化的脉冲驱动装置，其特征在于，
所述长时程增强突触权重通过与结晶阈值有关的电位差而增加，长时程抑制突触权重维持低于所述结晶阈值的电位差。
4.根据权利要求1所述的将突触器件中的不对称性最小化的脉冲驱动装置，其特征在于，
在所述计数与所述突触周期相同的情况下，所述第二运算部提供正脉冲，执行与相关的突触有关的所述长时程增强程序及所述长时程抑制程序。
5.根据权利要求4所述的将突触器件中的不对称性最小化的脉冲驱动装置，其特征在于，
所述长时程增强突触权重通过结晶阈值与熔融阈值之间的电位差而增加，所述长时程抑制突触权重通过与所述熔融阈值有关的电位差而减少。
6.一种将突触器件中的不对称性最小化的脉冲驱动方法，用于将长时程增强与长时程抑制之间的不对称性最小化，其特征在于，包括：
利用连接分层构成的神经元节点的突触权重来将电信号模式化的步骤；
所述突触权重计入计数的步骤；
判断所计入的所述计数与突触周期是否相同的步骤；以判断结果为基础来执行与模式化的所述突触有关的第一运算或第二运算的步骤，
在执行第一运算或第二运算的步骤中，
在所述计数与所述突触周期不相同的情况下，执行第一运算来执行与模式化的所述突触有关的长时程增强程序，而不执行与模式化的所述突触有关的长时程抑制程序；以及
在所述计数与所述突触周期相同的情况下，将所述突触权重计入的计数初始化之后，执行第二运算来执行与模式化的所述突触有关的所述长时程增强程序及长时程抑制程序，
通过执行所述长时程增强程序来增加长时程增强突触权重的平均变化，
通过执行所述长时程抑制程序来减少长时程抑制突触权重的平均变化，
在所述计入计数的步骤中，在所述第一运算的工作之后，计入所述突触权重，其中，计数根据模式化的突触的结合及触发而被计入，
在判断所计入的所述计数与突触周期是否相同的步骤中，反复判断突触计入的计数与所述突触周期是否相同。
7.一种存储有计算机程序的计算机可读记录介质，其特征在于，所述计算机程序被配置为在被处理器运行时使所述处理器执行如权利要求6所述的脉冲驱动方法。
CN201880073979.1A 2017-11-15 2018-11-14 将突触器件的权重的不对称性最小化的脉冲驱动装置及其方法 Active CN111433790B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2017-0152098 2017-11-15
KR1020170152098A KR102083258B1 (ko) 2017-11-15 2017-11-15 시냅스소자에서 가중치에 대한 비대칭성을 최소화하는 펄스 구동 장치 및 그 방법
PCT/KR2018/013866 WO2019098659A1 (ko) 2017-11-15 2018-11-14 시냅스소자에서 가중치에 대한 비대칭성을 최소화하는 펄스 구동 장치 및 그 방법

Publications (2)

Publication Number Publication Date
CN111433790A CN111433790A (zh) 2020-07-17
CN111433790B true CN111433790B (zh) 2023-09-19

Family

ID=66538755

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880073979.1A Active CN111433790B (zh) 2017-11-15 2018-11-14 将突触器件的权重的不对称性最小化的脉冲驱动装置及其方法

Country Status (4)

Country Link
US (1) US11544538B2 (zh)
KR (1) KR102083258B1 (zh)
CN (1) CN111433790B (zh)
WO (1) WO2019098659A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4235552A3 (en) 2016-02-23 2023-09-13 nChain Licensing AG Methods and systems for efficient transfer of entities on a peer-to-peer distributed ledger using the blockchain
SG10202011640TA (en) 2016-02-23 2021-01-28 Nchain Holdings Ltd System and method for controlling asset-related actions via a blockchain
KR20180115293A (ko) * 2016-02-23 2018-10-22 엔체인 홀딩스 리미티드 블록체인상의 개체의 안전한 전송을 위한 방법 및 시스템
EP3420669B1 (en) 2016-02-23 2021-03-24 Nchain Holdings Limited Cryptographic method and system for secure extraction of data from a blockchain
CN108780548B (zh) 2016-02-23 2022-08-05 区块链控股有限公司 将椭圆曲线加密用于个人装置安全以共享秘密
CA3013182A1 (en) 2016-02-23 2017-08-31 nChain Holdings Limited Universal tokenisation system for blockchain-based cryptocurrencies
AU2017222468B2 (en) 2016-02-23 2023-01-12 nChain Holdings Limited Agent-based turing complete transactions integrating feedback within a blockchain system
MX2018010056A (es) 2016-02-23 2019-01-21 Nchain Holdings Ltd Un metodo y sistema para asegurar software de computadora usando un cuadro hash distribuido y una cadena de bloques.
EP4167165A1 (en) 2016-02-23 2023-04-19 nChain Licensing AG Blockchain-based exchange with tokenisation
US11120437B2 (en) 2016-02-23 2021-09-14 nChain Holdings Limited Registry and automated management method for blockchain-enforced smart contracts
AU2017223129A1 (en) 2016-02-23 2018-07-12 nChain Holdings Limited Secure multiparty loss resistant storage and transfer of cryptographic keys for blockchain based systems in conjunction with a wallet management system
KR20180116278A (ko) 2016-02-23 2018-10-24 엔체인 홀딩스 리미티드 안전한 정보 교환과 계층 구조적이고 결정론적인 암호키를 위한 공통 비밀 결정
US11410145B2 (en) 2016-02-23 2022-08-09 nChain Holdings Limited Blockchain-implemented method for control and distribution of digital content
KR102421323B1 (ko) * 2020-09-29 2022-07-15 한양대학교 산학협력단 Pcm 기반의 시냅스 소자 및 그 동작 방법
KR102421324B1 (ko) * 2020-10-05 2022-07-15 한양대학교 산학협력단 Ltp 및 ltd에서 대칭성을 확보하는 시냅스 소자 및 그 동작 방법
KR102569871B1 (ko) * 2021-07-06 2023-08-23 한양대학교 산학협력단 10층 이상의 초격자 구조로 적층된 iPCM 시냅스 소자 및 그의 제작 방법
KR102569870B1 (ko) * 2021-07-06 2023-08-23 한양대학교 산학협력단 펄스 폭 변조 방식을 이용하여 대칭성이 개선되는 시냅스 소자 및 그의 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102496385A (zh) * 2011-12-26 2012-06-13 电子科技大学 一种脉冲时序活动性转换电路
CN102610274A (zh) * 2012-04-06 2012-07-25 电子科技大学 一种阻变突触权值调整电路
CN102959565A (zh) * 2010-07-07 2013-03-06 高通股份有限公司 用于生物启发型网络的通信和突触训练方法及硬件
CN104899640A (zh) * 2014-07-21 2015-09-09 徐志强 神经网络的模拟装置及方法
KR20160063908A (ko) * 2014-11-27 2016-06-07 포항공과대학교 산학협력단 뉴로모픽 시스템 응용을 위한 시냅스 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9129221B2 (en) * 2012-05-07 2015-09-08 Brain Corporation Spiking neural network feedback apparatus and methods
US9098801B2 (en) * 2012-12-17 2015-08-04 John L. Breckenridge Time series classifying memory, systems and methods
KR20150034900A (ko) 2013-09-26 2015-04-06 삼성전자주식회사 뉴런 회로들을 연결하는 시냅스 회로, 뉴로모픽 회로를 구성하는 단위 셀 및 뉴로모픽 회로
US9753959B2 (en) * 2013-10-16 2017-09-05 University Of Tennessee Research Foundation Method and apparatus for constructing a neuroscience-inspired artificial neural network with visualization of neural pathways
US9990580B2 (en) 2015-03-13 2018-06-05 International Business Machines Corporation Neuromorphic synapses

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102959565A (zh) * 2010-07-07 2013-03-06 高通股份有限公司 用于生物启发型网络的通信和突触训练方法及硬件
CN102496385A (zh) * 2011-12-26 2012-06-13 电子科技大学 一种脉冲时序活动性转换电路
CN102610274A (zh) * 2012-04-06 2012-07-25 电子科技大学 一种阻变突触权值调整电路
CN104899640A (zh) * 2014-07-21 2015-09-09 徐志强 神经网络的模拟装置及方法
KR20160063908A (ko) * 2014-11-27 2016-06-07 포항공과대학교 산학협력단 뉴로모픽 시스템 응용을 위한 시냅스 장치

Also Published As

Publication number Publication date
CN111433790A (zh) 2020-07-17
WO2019098659A1 (ko) 2019-05-23
US11544538B2 (en) 2023-01-03
KR20190055408A (ko) 2019-05-23
US20200285935A1 (en) 2020-09-10
KR102083258B1 (ko) 2020-03-02

Similar Documents

Publication Publication Date Title
CN111433790B (zh) 将突触器件的权重的不对称性最小化的脉冲驱动装置及其方法
US10956815B2 (en) Killing asymmetric resistive processing units for neural network training
US10885424B2 (en) Structural plasticity in spiking neural networks with symmetric dual of an electronic neuron
KR102592146B1 (ko) 시냅스 가중치 학습을 위한 뉴런 회로, 시스템 및 방법
US10373051B2 (en) Resistive processing unit
US10339447B2 (en) Configuring sparse neuronal networks
Kruschke et al. Benefits of gain: Speeded learning and minimal hidden layers in back-propagation networks
CN105637541B (zh) 用于神经模拟器的共享存储器架构
JP2022509618A (ja) レジリエントニューラルネットワーク
US10164179B2 (en) Memristive device based on alkali-doping of transitional metal oxides
US20150120627A1 (en) Causal saliency time inference
KR20160138002A (ko) 스파이킹 dbn (deep belief network) 에서의 트레이닝, 인식, 및 생성
KR20160112186A (ko) 뉴럴 네트워크에서 이벤트에 기반한 학습 방법 및 장치
WO2012006592A1 (en) Methods and systems for neural processor training by encouragement of correct output
KR20160084401A (ko) 스파이킹 뉴럴 네트워크들에서 리플레이를 사용한 시냅스 학습의 구현
Pedretti et al. Modeling-based design of brain-inspired spiking neural networks with RRAM learning synapses
Wang et al. A modified error function for the backpropagation algorithm
Davies et al. A forecast-based STDP rule suitable for neuromorphic implementation
US20150088796A1 (en) Methods and apparatus for implementation of group tags for neural models
KR20160125967A (ko) 일반적인 뉴런 모델들의 효율적인 구현을 위한 방법 및 장치
Sanaullah et al. Exploring spiking neural networks: a comprehensive analysis of mathematical models and applications
CA2924468A1 (en) Congestion avoidance in networks of spiking neurons
Javed et al. Online real-time recurrent learning using sparse connections and selective learning
Firouzi et al. Sensorimotor control learning using a new adaptive spiking neuro-fuzzy machine, spike-ids and stdp
Babu et al. Stochastic deep learning in memristive networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right

Effective date of registration: 20200709

Address after: Gyeonggi Do Korea Suwon

Applicant after: SAMSUNG ELECTRONICS Co.,Ltd.

Address before: Seoul, South Kerean

Applicant before: INDUSTRY-UNIVERSITY COOPERATION FOUNDATION HANYANG University

TA01 Transfer of patent application right
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant