CN111507463B - 神经形态的符码处理器及操作所述符码处理器的方法 - Google Patents

神经形态的符码处理器及操作所述符码处理器的方法 Download PDF

Info

Publication number
CN111507463B
CN111507463B CN201910089852.5A CN201910089852A CN111507463B CN 111507463 B CN111507463 B CN 111507463B CN 201910089852 A CN201910089852 A CN 201910089852A CN 111507463 B CN111507463 B CN 111507463B
Authority
CN
China
Prior art keywords
layer
symbols
processing
symbol
bus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910089852.5A
Other languages
English (en)
Other versions
CN111507463A (zh
Inventor
王立中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinlijia Integrated Circuit Hangzhou Co ltd
Original Assignee
Xinlijia Integrated Circuit Hangzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinlijia Integrated Circuit Hangzhou Co ltd filed Critical Xinlijia Integrated Circuit Hangzhou Co ltd
Priority to CN201910089852.5A priority Critical patent/CN111507463B/zh
Publication of CN111507463A publication Critical patent/CN111507463A/zh
Application granted granted Critical
Publication of CN111507463B publication Critical patent/CN111507463B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Logic Circuits (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明提供了一种神经形态的符码处理器及操作符码处理器的方法以进行符码处理，该神经形态的符码处理器包含以多个汇流排线连接的多个可规划非易失性存储器阵列的网路。相较于范纽曼型运算架构是应用多个运算来进行符码向量操控，本发明神经形态的符码处理器系根据储存于所述非易失性存储器阵列的已规划符码来处理输入符码。相较于现有计算机处理器的运算方法，本发明神经形态的符码处理器，类似于大脑处理器，平行地应用单步骤前馈处理，使得功率能大幅降低。

Description

神经形态的符码处理器及操作所述符码处理器的方法
技术领域
本发明是有关于一种符码处理器，包含以汇流排线(bus-lines)连接的多个非易失性存储器(non-volatile memory，NVM)阵列(array)的网路(network)。特别地，包含多个数字感知器(digital perceptron)的非易失性存储器阵列处理输入内容符码以产生回应符码(已揭露于中华人民共和国专利申请号CN 201710116690.0，上述专利的内容在此被整体引用作为本说明书内容的一部份)，以及包含多个可规划互连矩阵(configurableinterconnection matrix，CIM)(已揭露于中华人民共和国专利公告号CN 103839583B，上述专利的内容在此被整体引用作为本说明书内容的一部份)的非易失性存储器阵列在所述数字感知器之间连接汇流排线以形成多个符码处理器的网路。类似于突触路径(synapticpath)的发射(firing)与传播以及生物大脑神经形态结构中的回路(loop)，在所述已规划非易失性存储器阵列的网路中，平行地启动(activate)及传播多个符码。
背景技术
由计算机执行的现代化数字运算中，是将代表符码符号(code symbol)的二进位数据馈入至中央处理单元(central processor unit，CPU)的逻辑闸(logic gate)以进行符码操控。特别地，如图1显示所谓的范纽曼型运算架构(Von Neumann computingarchitecture)中，中央处理单元(CPU)10根据储存于主存储器11的指令符码及数据符码，执行逻辑操作。该CPU 10包含一主存储器11、一算术与逻辑单元(arithmetic and logicunit)12(进行符码加法及乘法的特殊逻辑操作)、至少一输出/输入装置13及一程序控制单元14。所述指令符码及数据符码储存于该主存储器11的指定区域，并由存储器地址符码所存取。在运算行程(computation process)之前，根据储存在主存储器11中起始指令符码，由该程序控制单元14初始设定该CPU 10。之后，根据从该主存储器11传送至该程序控制单元14的循序指令符码，该算术与逻辑单元12处理通过地址符码从该主存储器11读出的数据符码，再将处理过后的数据符码通过地址符码回存至该存储器11。一般而言，该CPU 10的数字逻辑运算行程就是一同步时脉内，执行一组储存于该主存储器11中的预先写入的循序指令符码及数据符码。
数字运算所消耗的功率可利用数学式表示为P～f×C×VDD 2，其中f表示时脉频率、C表示主动(active)电路总电容值(capacitance)以及VDD表示数字电路的正供电电压。因此，跑一个运算程序所需的能量正比于完成该组指令的时脉步骤(clock steps)的数目。各指令步骤包含从主存储器11撷取(fetch)指令符码与数据符码、于该算术与逻辑单元12中执行微操作(micro-operation)、以及将结果数据回存该主存储器11或输出至该输出输入装置13。完成一组指令所需的总运算能量正比于存储器存取的频率以及充电/放电汇流排线与主动电路(暂存器(register)、逻辑闸(gate)及多工器(multiplexer))的总电容。要完成该计算处理步骤的存储器存取频率越高，数字信号处理器就必需消耗越多能量及处理时间。
不同于目前的范纽曼型运算架构是根据事先程序化(pre-programmed)的指令操作多个逻辑运算，在神经形态架构中，层至层地启动及传播用以信息处理的神经信号即为熟知的单步骤前馈(feed-forward)。因此，就信息处理效率及能量消耗而言，在该生物神经系统的神经形态架构中，神经信号样态(pattern)的单步骤前馈处理所消耗的功率远小于多运算的方法，如在范纽曼型运算系统中的一般操作。在真实世界中，倘若生物大脑的信息处理是利用数千万赫兹至数百亿赫兹的高频来执行多个运算的话，高频运算所产生的功率就会烧坏该生物大脑。
对于简单或复杂大脑的生物神经系统(biologic nerve system)而言，如光、声音、触摸、味觉、嗅觉等等的外在刺激(stimuli)启动连接至所述神经系统的多个感知器官的接收场(receptive field)。神经信号以电气脉波(electrical pulse)的型式和感受体场(receptor field)内产生的神经传导素(neural transmitter)(分子(molecules))的型式传送，以触发该神经系统中的神经网路的下一个连接层的神经元发射。由该连接层产生的神经信号场持续向前处理，遍及该神经系统的神经形态结构的多层。回应来自前一连接层的接收场信号，各神经网路层刺激(excite)该神经形态结构的该层中的某些神经元。之后，建立了该神经形态结构的神经信号路径以传播至较高阶层的神经处理单元。在较高阶层的神经处理单元中，多个神经元形成神经元细胞集群(cell assembly)中的突触回路，而在神经元细胞集群中多个神经元的突触彼此连接，以形成复杂的多反馈突触回路。需注意的是，由于发射一神经元(类似于一计算机切换装置)的突触的逻辑本质(logic nature)(“AND”用以虚弱突触/”OR”用以强壮突触/”NOT”用以抑制突触)，神经元细胞集群的突触回路类似于计算机硬件中多个输入/输出复杂正反器(flip-flop)(逻辑存储器储存装置)。通过来自前一连接层的接收神经场信号，以启动多个特定突触回路，所述特定突触回路为已知的神经挥发性工作存储及已知的非易失性长期存储，该已知的神经挥发性工作存储是由暂时神经信号所生成，而该已知的非易失性长期存储是由神经元细胞集群的固线式(hardwired)突触所建立。
为描述大脑心智过程，图2显示一视觉过程(揭露于“Principle of NeuralScience”的图25-4及第560页，作者：Eric Kandel et al.)以及图3显示其对应的诠释。如图2至图3所示，通过在该神该经形态结构的前端层中发射(firing)所述神经样态信号，分解及分析所述接收感知信号以在该神经形态大脑结构的功能性皮层(cortex)的较高阶层中触发该突触回路信号的发射。基本上，生物的神经网路系统的信息处理原理就是在生物大脑的神经形态结构中发射及传播所述神经信号样态(突触路径及回路)。
受神经网路的平行场信息处理所启发，申请人已揭露一符码处理器元件，即所谓的”数字感知器”(已揭露于中华人民共和国专利申请号CN 201710116690.0)，类似于神经网路系统的信息处理，其中该数字感知器包含两个主要非易失性存储器阵列，系以内容符码及回应(感知)符码分别规划于该两个主要非易失性存储器阵列中。当将来自输入汇流排线的一输入内容符码的信号传播至该数字感知器的非易失性内容存储器阵列以进行符码匹配时，从该数字感知器的非易失性感知存储器阵列产生匹配回应符码信号而进入输出汇流排线。进一步，可将该输出符码信号应用来执行一组循序运算符码、启动一符码序列(sequence)以驱动连结的模拟装置、或传播至数字感知器的下一阶段以当作其输入内容符码信号。
发明内容
针对现有技术中的问题，本发明提供一种神经形态的符码处理器及操作所述符码处理器的方法，能够平行地应用单步骤前馈处理，使得功率能大幅降低。
为解决上述技术问题，本发明提供以下技术方案：
第一方面，本发明提供一种符码处理器，包含：
一输出缓冲器；以及
多个串联的处理层，各所述处理层包含X个处理单元，平行运作，各所述处理单元包含一第一非易失性存储器阵列以及一第二非易失性存储器阵列，其中，以多个内容符码预先规划于所述第一非易失性存储器阵列中以及以多个回应符码预先规划于所述第二非易失性存储器阵列中，其中各所述处理层所包含的X个处理单元被规划为：
(1)接收X个输入符码；
(2)平行地比较所述X个输入符码以及其对应的内容符码；
(3)产生X个或更少的回应符码；
(4)选择性地将所述X个或更少的回应符码传播至其下一处理层；以及
(5)选择性地将所述X个或更少的回应符码写入至所述输出缓冲器；
其中，依据处理层的顺序来执行步骤(1)至(5)，从一第一处理层开始，依序地进行至其下一处理层，直到一最后处理层执行完为止，其中，X是各所述处理层所单独提供及定义的功能特性的数目。
进一步地，各所述处理单元包含：
一数字感知器装置，用以接收所述X个输入符码之一、比较所述X个输入符码之一与预先规划于其第一非易失性存储器阵列中的所述内容符码、以及根据比较结果，产生预先规划于其第二非易失性存储器阵列中的所述回应符码的零个或一个回应符码；以及
一可规划互连矩阵，用以选择性地接收所述回应符码的所述零个或一个回应符码、选择性地将所述回应符码的所述零个或一个回应符码传播至其下一个处理层、以及选择性地将所述回应符码的所述零个或一个回应符码输出至所述输出缓冲器。
进一步地，各所述处理单元更包含：
一第一汇流排以及一第二汇流排，其中所述数字感知器装置连接在所述第一汇流排以及所述第二汇流排之间，其中所述数字感知器装置从所述第一汇流排接收所述X个输入符码之一以及输出所述回应符码的所述零个或一个回应符码至所述第二汇流排；以及
一第三汇流排，连接至所述输出缓冲器；
其中，所述可规划互连矩阵连接在所述第二汇流排、所述第三汇流排以及其下一处理层的所述第一汇流排之间。
进一步地，所述输出缓冲器包含：
多个单层输出缓冲器，各所述单层输出缓冲器连接至一对应处理层的所述第三汇流排，并储存所述X个或更少的回应符码当作多个单层输出符码；以及
多个多层混和输出缓冲器，各所述多层混和输出缓冲器连接至多个处理层的所述第三汇流排，并储存来自所述处理层的所述第三汇流排的多个回应符码当作多个多层混和输出符码。
进一步地，所述单层输出符码以及所述多层混和输出符码被应用来执行多个预先程序化的运算序列或启动多个预先程序化的符码序列以驱动多个模拟装置。
进一步地，应用所述单层输出符码以及所述多层混和输出符码以执行所述预先程序化的运算序列或启动所述预先程序化的符码序列以驱动所述模拟装置，系类似于生物神经系统的神经形态结构的独立自主操作。
进一步地，所述多层混合输出符码被解读为一个有意义的物件，类似于生物大脑的一认知过程。
进一步地，更包括：
一输入缓冲器，用以储存及提供所述X个输入符码至所述串联的处理层中的所述第一处理层。
进一步地，根据新演算法及新功能特性的结果，各所述处理单元的所述第一非易失性存储器阵列中的所述内容符码以及所述第二非易失性存储器阵列中的所述回应符码允许被重新规划。
另一方面，本发明提供一种操作一符码处理器的方法，所述符码处理器包含多个串联的处理层，各所述处理层包含X个处理单元，平行运作，各所述处理单元包含一第一非易失性存储器阵列以及一第二非易失性存储器阵列，其中，以多个内容符码预先规划于所述第一非易失性存储器阵列中以及以多个回应符码预先规划于所述第二非易失性存储器阵列中，所述方法包含以下步骤：
(1)以一处理层的所述X个处理单元，接收X个输入符码；
(2)以所述处理层的所述X个处理单元中的X个第一非易失性存储器阵列，平行地比较所述X个输入符码以及其对应的内容符码；
(3)以所述处理层的所述X个处理单元中的X个第二非易失性存储器阵列，得到X个或更少的回应符码；
(4)以所述处理层的所述X个处理单元，选择性将所述X个或更少的回应符码传播至其下一处理层；
(5)以所述处理层的所述X个处理单元，选择性将所述X个或更少的回应符码输出至所述输出缓冲器；以及
(6)依据处理层的顺序来重复步骤(1)至(5)，从一第一处理层开始，依序地进行至其下一处理层，直到一最后处理层执行完为止，其中，X是各所述处理层所单独提供及定义的功能特性的数目。
进一步地，步骤(5)更包括：
以所述处理层的所述X个处理单元，选择性地将所述X个或更少的回应符码输出至一个单层输出缓冲器当作多个单层输出符码。
进一步地，更包括：
应用所述单层输出符码以执行多个预先程序化的运算序列或启动多个预先程序化的符码序列以驱动多个模拟装置。
进一步地，应用所述单层输出符码以执行所述预先程序化的运算序列或启动所述预先程序化的符码序列以驱动所述模拟装置，类似于生物神经系统的神经形态结构的独立自主的操作。
进一步地，步骤(5)更包括：
以所述处理层及至少另一处理层，选择性地将多个回应符码输出至一个多层混和输出缓冲器，当作多个多层混和输出符码。
进一步地，更包括：
应用所述多层混和输出符码以执行多个预先程序化的运算序列或启动多个预先程序化的符码序列以驱动多个模拟装置。
进一步地，所述多层混合输出符码被解读为一个有意义的物件，类似于生物大脑的一认知过程。
进一步地，根据新演算法及新功能特性的结果，各所述处理单元的所述第一非易失性存储器阵列中的所述内容符码以及所述第二非易失性存储器阵列中的所述回应符码允许被重新规划。
由上述技术方案可知，本发明提供一种神经形态的符码处理器及操作所述符码处理器的方法，能够平行地应用单步骤前馈处理，使得功率能大幅降低。
附图说明
图1显示一典型CPU的现有范纽曼型计算架构。
图2是根据现有技术，描绘一例示性的视觉感知过程。
图3提供图2中视觉感知的绘图诠释。
图4显示本发明神经形态的符码处理器的架构图。
图5是显示具有n位内容长度、m种情况的内容深度及q位感知宽度的现有数字感知器的架构图。
图6显示两个单一数字十进位加法感知器的已规划符码表格。
图7显示现有的M×N的可规划互连矩阵。
图8是根据本发明一实施例，显示图4位于第i个功能及第j层的处理单元(i,j)中，具”n个输入/q个输出”的DP以及”q个输入/q个输出及p个双向输出”的CIM之间的连接示意图。
10 CPU
11 主存储器
12 算术与逻辑单元
13 输出/输入装置
14 程序控制单元
400 神经形态的符码处理器
401 数字感知器
402 可规划互连矩阵
403～406 汇流排线
410 处理层
420 输入缓冲器
421 节点IE
422 符码缓冲器
430 输出缓冲器
431 节点OE
433 单层输出缓冲器
435 多层混合输出缓冲器
510 n位输入汇流排线
520 n位输入缓冲器及驱动单元
525 2n条输入线
530 n位×m行的非易失性内容存储器阵列
531 m行匹配线
540 匹配检测器
541 m条切换线
550 q位×m行的互补式电子可擦写可编程唯读存储器阵列
556 q条输出线
560 q位输出缓冲器及驱动单元
570 q位输出汇流排线
580 匹配逻辑电路
588 节点
590 及闸
592 使能节点
593 禁止节点
700 M×N非易失性存储器阵列
703 M条位线
701、702 输入端
703 位线
710、712、714和716 选择金氧半场效晶体管切换器
711、713、715和717 选择金氧半场效晶体管切换器的栅极端
730 NVM单元
731 单位
741、742 右/左输出端
743 共源极线
750 NVM单元的控制闸
具体实施方式
以下的详细描述应视为说明性，而非要限定本发明，应了解的是熟悉本领域者可利用其他实施例及元件变更，均应落入权利要求所定义的本发明的范围。本说明书所使用的词汇与用语应视为说明性，而非限制性。熟悉本领域者应可理解，以下提供的架构示意图及方法仅用以说明本发明较佳实施例，而非要限定本发明。本发明其他实施例容易使熟悉本领域者联想到本揭露书的益处。
本发明主要态样中，无需像现有的范纽曼型运算架构以高时脉频率执行多个运算，利用多个汇流排线连接多个数字感知器及多个可规划互连矩阵以建构所述符码处理器，其中，在已规划的非易失性符码处理器中启动及传送所述符码，类似于生物大脑处理器是在神经形态结构中启动及传送所述神经信号。
本发明另一态样中，是通过储存于符码处理器的非易失性存储器中的已规划符码所进行的信息处理方式，类似于通过于生物大脑处理器的成熟神经形态结构的突触构型(configuration)所进行的信息处理方式。
本发明另一态样中，可根据新演算法或新功能特性(functionality)的结果，利用新内容符码及回应符码重新规划(更新)包含多次可规划非易失性存储器阵列的符码处理器，类似于生物大脑经由学习及训练而在神经形态结构中长出新突触。
本发明另一态样中，回应输入内容符码，该数字感知器的输出回应符码，可用来启动一预先程序化的自动符码序列以驱动模拟装置，类似于生物大脑处理器中独立自主(autonomous)的回应。
本发明另一态样中，由符码处理器(数字感知器)的多处理层的多层混合输出缓冲器所产生的多层混合输出符码可被解读为一个有意义的物件(object)，类似于生物大脑处理器的一认知过程。
为实现神经形态的符码处理器的上述功能，本发明利用一输入缓冲器420、一输出缓冲器430、多个数字感知器(DP)401、多个可规划互连矩阵(CIM)402以及多条汇流排线403～406以组成一个具有(y+1)个功能及(z+1)层的神经形态的符码处理器400，如图4所示。神经形态的符码处理器400的主要部分分成(z+1)个处理层410。各处理层410包含多个DP 401用以进行符码处理、以及多个CIM 402用以连接至其他处理层及该输出缓冲器430。处理层0包含(y+1)个DP及(y+1)个CIM用来分别处理(y+1)个功能的符码输入。各处理层所包含的DP及CIM的数目对应于各处理层分别提供及定义的功能特性的数目。如图4所示，该具有(y+1)个功能及(z+1)层的神经形态的符码处理器400中，该输入缓冲器420包含(y+1)个符码缓冲器422，系分别储存(y+1)个功能的(y+1)个输入功能符码。通过施加一使能信号至节点IE421，启动(y+1)个符码缓冲器422而产生该(y+1)个输入功能符码信号，并通过连接的汇流排线403进入至该处理层0的DP 401。该输出缓冲器430包含多个单层输出缓冲器433及多个多层混合输出缓冲器435。各处理层的DP 401所产生的单层输出符码储存于所述单层输出缓冲器433，而多层的DP401所产生的多层混合输出符码则储存于所述多层混合输出缓冲器435。通过施加一使能信号至节点OE 431，启动该神经形态的符码处理器400的输出符码而储存于该输出缓冲器430。
该神经形态的符码处理器400运作如下。当(y+1)个输入功能符码已储存于该(y+1)个符码缓冲器422时，在节点IE 421上的使能信号启动该(y+1)个输入功能符码信号而输入至连接该神经形态的符码处理器400的该处理层0的汇流排线403。根据该处理层0的所述DP 401中已规划的内容符码及回应(感知)符码，该神经形态的符码处理器400的该处理层0处理该(y+1)个输入功能符码，之后，输出回应(感知)符码至连接该处理层0的CIM 402的输出汇流排线404，其中各CIM 402被规划成将该回应(感知)符码输出至连接该神经形态的符码处理器400的下一处理层的汇流排线403，以及输出至连接该单层输出缓冲器433的汇流排线405、406。如同单步骤前馈，该回应符码继续启动及传播贯穿多个处理层的已规划DP401及CIM 402，直到抵达该神经形态的符码处理器400的最后一处理层z为止。当该神经形态的符码处理器400达到一平稳状态时，在节点OE 431的使能信号启动一切换器(未显示)，以将所述单层输出符码及所述多层混合输出符码分别从连接的汇流排线405写入至所述单层输出缓冲器433及所述多层混合输出缓冲器435。之后，将储存至该输出缓冲器430的输出符码应用来执行一组循序运算、或启动多个符码序列以驱动模拟装置。以习知运算观点来看待符码向量操控(manipulation)，各处理层的DP 401是将具内容含意的输入符码向量转换成后运算(post-computational)符码向量。
请注意，将所述单层输出符码应用至其他操作，例如启动多个预先程序化的运算序列或启动多个预先程序化的序列以驱动模拟装置，可被视为独立自主的操作，而将所述多层混合输出符码应用至需要来自多处理层的符码认知的其他操作，可被视为认知操作。
图5显示DP 401的一示意图(已揭露于中华人民共和国专利申请号CN201710116690.0)。利用n位输入内容长度及q位输出感知(回应)宽度来规划该DP 401，请注意，变数n及q是根据图4中各DP 401的定义而变动。在图5的DP 401中，n位×m行(row)的非易失性内容存储器阵列530通过2n条输入线525连接至n位输入缓冲器及驱动单元520，该n位输入缓冲器及驱动单元520再连接至外部的n位输入汇流排线510。当“使能高态(enabled high)”信号VDD启动节点591时，该输入缓冲器及驱动单元520接收来自该外部n位输入汇流排线510的数字符号(symbol)(内容)信号，并将该n位数字信号传播至该n位×m行的非易失性内容存储器阵列530。该非易失性内容存储器阵列530中m行的匹配线(matchline)531连接至一匹配检测器540，而该匹配检测器540则通过m条的切换线(switchingline)541连接至q位×m行的互补式电子可擦写可编程唯读存储器(complementaryelectrical erasable programmable read only memory，CEEPROM)阵列550的对应的m行字线(wordline)。当m行的匹配检测器540被节点591上的“使能高态”信号VDD启动时，由匹配检测器540中m个匹配检测器单元(cell)之一输出的匹配信号可接通(switch on)CEEPROM阵列550的对应的字线。之后，q条输出线556送出q位输出信号至q位输出缓冲器及驱动单元560。同时，上述匹配检测器540中m个匹配检测器元件之一所输出的匹配信号也被馈入至匹配逻辑电路580以在节点588产生一“发送高态(send high)”信号VDD，用以将该n位输出缓冲器及驱动单元560连接至外部q位输出汇流排线570以输出q位输出信号(或q位感知/回应符码)。另一方面，若该n位输入数据与该非易失性内容存储器阵列530中所有行的已规划非易失性数据都不匹配时，该输出缓冲器及驱动单元560就不会连接至外部的输出汇流排线570。然后，数字感知器401不会送出感知/回应符码的数字信号给外部的输出汇流排线570，此功能是模仿生物神经系统的信息处理以回应来自周遭环境中无关系的信息输入。
在生物神经系统的神经网路中常看到“抑制/禁止(inhibition)”功能。一典型的例子是膝反射(knee jerk)，其中刺激性的(excitatory)与抑制的突触连结的接合解决了四头肌(quadriceps)肌肉的拉长反射。为模仿上述功能，申请人利用具有两个输入节点的及闸(AND gate)590、一使能节点592以及一禁止节点593，以接通(turn on)及关闭(turnoff)该数字感知器401。若且唯若(if and only if)施加一高逻辑位准信号VDD于该使能节点592以及一低逻辑位准信号VSS于该禁止节点593，可通过产生于节点591的“使能高态”信号VDD接通该数字感知器401。
该非易失性内容存储器阵列530及该CEEPROM阵列550中的m行代表m种内容情况(scenario)，例如，图6显示两个单一数字(single-digit)十进位(decimal)加法感知器。如图6的左边表格所示，4个二进位数字定义单一的十进位数字。在该非易失性内容存储器阵列530中，以2×4＝8个二进位数来代表两个单一的十进位数，而该输入内容长度定义为8位。因为各十进位数有十个十进位数字(0,1,…,9)，所以该两个单一数字十进位加法器有10×10＝100种组合。该两个单一数字十进位加法器的输入内容深度需要该非易失性内容存储器阵列530具有100行以对应该100种组合。该两个单一数字十进位加法器的相加结果是两个十进位数0d00、0d01、0d02、0d03、…、0d18，其中”0d”表示十进位。就二进位数字而言，为表示8位感知宽度，是利用2×4＝8个位(或二进位数字)来代表两个十进位数。在9+5＝14的例子中，输入两个十进位数9(即0b1001)与5(即0b1001)的结果至该加法感知器，匹配行就会输出1(即二进位数0b0001)与4(即二进位数0b0100)的结果，如图6的右边表格所示。请注意，根据不同演算法产生的符码及所述符码的不同定义，一数字感知器的内容长度/深度及感知宽度的数目会随之变动。从硅硬件成本观点来看，具一特定功能的最佳化数字感知器就是获得内容长度/深度及感知宽度的最小数目。以上述该两个单一数字十进位加法感知器为例，应用加法交换律(commutation property of addition)，即A+B＝B+A，其中A与B是两个十进位数，该感知器的内容深度可从内容存储器阵列530的100行降低至50行。
图7显示该可规划互连矩阵(CIM)402的示意图(已揭露于中华人民共和国专利公告号CN 103839583B)。请参考图7，CIM402包含M×N非易失性存储器(NVM)阵列700及选择金氧半场效晶体管切换器(MOSFETswitch)(710、712、714和716)。在该M×N NVM阵列700中，多数个NVM单元(cell)730两两成对，每一对NVM单元730分享一共源极电极(common sourceelectrode)并具有两个不同的汲极电极(drain electrode)，如图7中间的单位731所示。一行NVM单元730的控制闸750形成一控制闸线(control gate line)CGj，其中，j＝1...N；而一列(column)NVM单元730的汲极电极彼此连接形成第i条位线(bitline)703，其中，i＝1...M；一行NVM单元730的共源极电极彼此连接形成第j条共源极线(common source line)743，其中，j＝1...N。输入端701和702是以IiU和IiD表示，i＝1...M，分别经由所述选择MOSFET切换器710和714，连接至该M×N的NVM阵列700的M条位线703。右/左输出端741和742系以QjR和QjL表示，j＝1...N，分别经由所述选择MOSFET切换器712和716连接至该M×N的NVM阵列700的N条共源极线743。请注意，变数M及N是由图4的各CIM 402各自独立定义。
通过施加一电压信号Vsel(大于(VDD+Vth))至图7中所述选择MOSFET切换器(710、712、714和716)的栅极端(711、713、715和717)，其中Vth是所述选择MOSFET切换器的临界电压，于是形成一个可传递小于VDD的信号的互连矩阵402的网路。若要使该互连矩阵与外部数据汇流排线断接，则将在所述选择MOSFET切换器(710、712、714和716)的栅极端(711、713、715和717)的电压信号设为接地(ground)电压。当被施加的控制闸电压偏压(bias)系低于高临界电压但高于低临界电压时，具高临界电压的已程序化(programmed)NVM元件(i,j)为“切断(off)”状态，以断接一位线i及一共源极线j。若上述控制闸电压偏压(低于高临界电压但高于低临界电压)被施加至具低临界电压的另一NVM元件(i,j)730时，该另一NVM元件(i,j)730会被导通(on)以连接该位线i及该共源极线j，其中，1<i<M且1<j<N。
图8显示图4位在第i个功能及第j层的处理单元(i,j)中，具n个输入/q个输出的DP401以及q×p的CIM 402之间的汇流排线连接图，其中，0＝<i＝<y且0＝<j＝<z。汇流排线403连接至DP 401的n个输入节点，而DP 401的q个输出节点通过数目为q的汇流排线404连接至CIM 402的q个输入节点。如图7所示(在图8中，CIM 402被逆时针转90度)，通过q条位线703将CIM 402的q个输入节点(I1U,I2U,…,IqU)连接至q个输出节点(I1D,I2D,…,IqD)，因此，一处理层中DP 401的数字信号沿着相同处理层的CIM 402中的位线703及下一处理层的汇流排线403，被传播至下一处理层的DP 401。在图8垂直方向上，CIM 402的上/下p个输出节点(即图7的节点741,742)分别连接至汇流排线406及405，当作处理层的输出。同时，进行符码处理时，DP 401的使能节点592以及禁止节点593是用来启动或禁能该DP 401的控制信号节点。施加二控制信号至CIM 402的控制信号节点711及715可分别连接/断接该汇流排线404至CIM 402的连结及CIM 402至该汇流排线403(连接下一处理层的DP 401)的连结。亦可施加二控制信号至CIM 402的控制信号节点717及713可分别连接/断接该垂直汇流排线406及405至该输出缓冲器430的连结。
以上提供的较佳实施例仅用以说明本发明，而非要限定本发明至一明确的类型或示范的实施例。因此，本说明书应视为说明性，而非限制性。以上提供的较佳实施例中，所述非易失性存储器装置的型态包含但不限于具有浮动闸、电荷陷入介电层(charge trapdielectrics)或纳米晶粒(nano-crystals)当作电荷储存物质(charge storagematerial)的传统MOSFET装置；且所述非易失性存储器装置具有”导通状态”与”非导通状态”以形成一互补对，如相变化存储器(phase change memory，PCM)、可程序化金属化单元(programmable metallization cell，PMC)、磁阻式随机存取存储器(magneto-resistiverandom memories，MRAM)、可变电阻式存储器(resistive random access memory，RRAM)、以及纳米随机存取存储器(nano-random access memory，NRAM)，显然地，非易失性存储器装置的各种变形或变更，对熟悉本领域者是显而易见的。以上提供的较佳实施例是为了有效说明本发明的要旨及其最佳模式可实施应用，藉以让熟悉本领域者了解本发明的各实施例及各种变更，以适应于特定使用或实施目的。本发明的范围由权利要求及其相等物(equivalent)来定义，其中所有的名称(term)皆意指最广泛合理的涵义，除非另有特别指明。本发明仅被权利要求的范围及精神来定义。依据法规的要求而提供本发明的摘要，以便搜寻者能从本说明书核准的任何专利快速确认此技术揭露书的主题(subject matter)，并非用来诠释或限制请求项的范围及涵义。任何优点及益处可能无法适用于本发明所有的实施例。应了解的是，该行业者可进行各种变形或变更，均应落入权利要求所定义的本发明的范围。再者，本说明书中的所有元件及构件(component)都没有献给大众的意图，无论权利要求是否列举所述元件及构件。

Claims (16)

1.一种符码处理器装置，其特征在于，包含：
一输出缓冲器；以及
多个串联的处理层，各所述处理层包含X个处理单元，平行运作，各所述处理单元包含一第一非易失性存储器阵列以及一第二非易失性存储器阵列，其中，以多个内容符码预先规划于所述第一非易失性存储器阵列中以及以多个回应符码预先规划于所述第二非易失性存储器阵列中，其中各所述处理层所包含的X个处理单元被规划为：
(1)接收X个输入符码；
(2)平行地比较所述X个输入符码以及其对应的内容符码；
(3)产生X个或更少的回应符码；
(4)选择性地将所述X个或更少的回应符码传播至其下一处理层；以及
(5)选择性地将所述X个或更少的回应符码写入至所述输出缓冲器；
其中，依据处理层的顺序来执行步骤(1)至(5)，从一第一处理层开始，依序地进行至其下一处理层，直到一最后处理层执行完为止，其中，X是各所述处理层所单独提供及定义的功能特性的数目；
其中，所述处理单元还包含数字感知器装置及可规划互连矩阵；所述处理单元还包含一第一汇流排以及一第二汇流排，其中所述数字感知器装置连接在所述第一汇流排以及所述第二汇流排之间，其中所述数字感知器装置从所述第一汇流排接收所述X个输入符码之一以及输出所述回应符码的零个或一个回应符码至所述第二汇流排；以及一第三汇流排，连接至所述输出缓冲器；其中，所述可规划互连矩阵连接在所述第二汇流排、所述第三汇流排以及其下一处理层的所述第一汇流排之间。
2.根据权利要求1所述的符码处理器装置，其特征在于，所述数字感知器装置用以接收所述X个输入符码之一、比较所述X个输入符码之一与预先规划于其第一非易失性存储器阵列中的所述内容符码、以及根据比较结果，产生预先规划于其第二非易失性存储器阵列中的所述回应符码的零个或一个回应符码；以及
所述可规划互连矩阵用以选择性地接收所述回应符码的所述零个或一个回应符码、选择性地将所述回应符码的所述零个或一个回应符码传播至其下一个处理层、以及选择性地将所述回应符码的所述零个或一个回应符码输出至所述输出缓冲器。
3.根据权利要求2所述的符码处理器装置，其特征在于，所述输出缓冲器包含：
多个单层输出缓冲器，各所述单层输出缓冲器连接至一对应处理层的所述第三汇流排，并储存所述X个或更少的回应符码当作多个单层输出符码；以及
多个多层混合输出缓冲器，各所述多层混合输出缓冲器连接至多个处理层的所述第三汇流排，并储存来自所述处理层的所述第三汇流排的多个回应符码当作多个多层混合输出符码。
4.根据权利要求3所述的符码处理器装置，其特征在于，所述单层输出符码以及所述多层混合输出符码被应用来执行多个预先程序化的运算序列或启动多个预先程序化的符码序列以驱动多个模拟装置。
5.根据权利要求4所述的符码处理器装置，其特征在于，应用所述单层输出符码以及所述多层混合输出符码以执行所述预先程序化的运算序列或启动所述预先程序化的符码序列以驱动所述模拟装置，系类似于生物神经系统的神经形态结构的独立自主操作。
6.根据权利要求5所述的符码处理器装置，其特征在于，所述多层混合输出符码被解读为一个有意义的物件，类似于生物大脑的一认知过程。
7.根据权利要求1所述的符码处理器装置，其特征在于，更包括：
一输入缓冲器，用以储存及提供所述X个输入符码至所述串联的处理层中的所述第一处理层。
8.根据权利要求1所述的符码处理器装置，其特征在于，根据新演算法及新功能特性的结果，各所述处理单元的所述第一非易失性存储器阵列中的所述内容符码以及所述第二非易失性存储器阵列中的所述回应符码允许被重新规划。
9.一种操作一符码处理器的方法，其特征在于，所述符码处理器包含多个串联的处理层，各所述处理层包含X个处理单元，平行运作，各所述处理单元包含一第一非易失性存储器阵列以及一第二非易失性存储器阵列，其中，以多个内容符码预先规划于所述第一非易失性存储器阵列中以及以多个回应符码预先规划于所述第二非易失性存储器阵列中，所述方法包含以下步骤：
(1)以一处理层的所述X个处理单元，接收X个输入符码；
(2)以所述处理层的所述X个处理单元中的X个第一非易失性存储器阵列，平行地比较所述X个输入符码以及其对应的内容符码；
(3)以所述处理层的所述X个处理单元中的X个第二非易失性存储器阵列，得到X个或更少的回应符码；
(4)以所述处理层的所述X个处理单元，选择性将所述X个或更少的回应符码传播至其下一处理层；
(5)以所述处理层的所述X个处理单元，选择性将所述X个或更少的回应符码输出至输出缓冲器；以及
(6)依据处理层的顺序来重复步骤(1)至(5)，从一第一处理层开始，依序地进行至其下一处理层，直到一最后处理层执行完为止，其中，X是各所述处理层所单独提供及定义的功能特性的数目；
其中，所述处理单元还包含数字感知器装置及可规划互连矩阵；所述处理单元还包含一第一汇流排以及一第二汇流排，其中所述数字感知器装置连接在所述第一汇流排以及所述第二汇流排之间，其中所述数字感知器装置从所述第一汇流排接收所述X个输入符码之一以及输出所述回应符码的零个或一个回应符码至所述第二汇流排；以及一第三汇流排，连接至所述输出缓冲器；其中，所述可规划互连矩阵连接在所述第二汇流排、所述第三汇流排以及其下一处理层的所述第一汇流排之间。
10.根据权利要求9所述的方法，其特征在于，步骤(5)更包括：
以所述处理层的所述X个处理单元，选择性地将所述X个或更少的回应符码输出至一个单层输出缓冲器当作多个单层输出符码。
11.根据权利要求10所述的方法，其特征在于，更包括：
应用所述单层输出符码以执行多个预先程序化的运算序列或启动多个预先程序化的符码序列以驱动多个模拟装置。
12.根据权利要求11所述的方法，其特征在于，应用所述单层输出符码以执行所述预先程序化的运算序列或启动所述预先程序化的符码序列以驱动所述模拟装置，类似于生物神经系统的神经形态结构的独立自主的操作。
13.根据权利要求9所述的方法，其特征在于，步骤(5)更包括：
以所述处理层及至少另一处理层，选择性地将多个回应符码输出至一个多层混合输出缓冲器，当作多个多层混合输出符码。
14.根据权利要求13所述的方法，其特征在于，更包括：
应用所述多层混合输出符码以执行多个预先程序化的运算序列或启动多个预先程序化的符码序列以驱动多个模拟装置。
15.根据权利要求13所述的方法，其特征在于，所述多层混合输出符码被解读为一个有意义的物件，类似于生物大脑的一认知过程。
16.根据权利要求9所述的方法，其特征在于，根据新演算法及新功能特性的结果，各所述处理单元的所述第一非易失性存储器阵列中的所述内容符码以及所述第二非易失性存储器阵列中的所述回应符码允许被重新规划。
CN201910089852.5A 2019-01-30 2019-01-30 神经形态的符码处理器及操作所述符码处理器的方法 Active CN111507463B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910089852.5A CN111507463B (zh) 2019-01-30 2019-01-30 神经形态的符码处理器及操作所述符码处理器的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910089852.5A CN111507463B (zh) 2019-01-30 2019-01-30 神经形态的符码处理器及操作所述符码处理器的方法

Publications (2)

Publication Number Publication Date
CN111507463A CN111507463A (zh) 2020-08-07
CN111507463B true CN111507463B (zh) 2023-06-20

Family

ID=71875593

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910089852.5A Active CN111507463B (zh) 2019-01-30 2019-01-30 神经形态的符码处理器及操作所述符码处理器的方法

Country Status (1)

Country Link
CN (1) CN111507463B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740195A (zh) * 2014-12-15 2016-07-06 英特尔公司 Or链式总线的增强数据总线反转编码

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7128266B2 (en) * 2003-11-13 2006-10-31 Metrologic Instruments. Inc. Hand-supportable digital imaging-based bar code symbol reader supporting narrow-area and wide-area modes of illumination and image capture
CN101802782A (zh) * 2007-09-01 2010-08-11 D2影音公司 用于在高清晰度音频总线上启动编码解码器的处理器的系统及方法
JP4942686B2 (ja) * 2008-03-18 2012-05-30 株式会社リコー ネットワーク同期システム及び情報処理装置
US20110106690A1 (en) * 2009-04-16 2011-05-05 Jason Fisher Preterm loan system and method of using the same
US10127044B2 (en) * 2013-10-25 2018-11-13 Advanced Micro Devices, Inc. Bandwidth increase in branch prediction unit and level 1 instruction cache
US10460237B2 (en) * 2015-11-30 2019-10-29 International Business Machines Corporation Neuron-centric local learning rate for artificial neural networks to increase performance, learning rate margin, and reduce power consumption
US10482372B2 (en) * 2015-12-23 2019-11-19 Intel Corporation Interconnection scheme for reconfigurable neuromorphic hardware
US9754668B1 (en) * 2016-03-03 2017-09-05 Flashsilicon Incorporation Digital perceptron
CN105979201A (zh) * 2016-04-11 2016-09-28 上海大学 一种基于并行处理器的智能可穿戴设备
US10101995B2 (en) * 2016-07-15 2018-10-16 Microsoft Technology Licensing, Llc Transforming data manipulation code into data workflow
US10387298B2 (en) * 2017-04-04 2019-08-20 Hailo Technologies Ltd Artificial neural network incorporating emphasis and focus techniques

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740195A (zh) * 2014-12-15 2016-07-06 英特尔公司 Or链式总线的增强数据总线反转编码

Also Published As

Publication number Publication date
CN111507463A (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
CN107153872B (zh) 数字感知器装置及其操作方法
Wu et al. Homogeneous spiking neuromorphic system for real-world pattern recognition
AU2020274862B2 (en) Training of artificial neural networks
Pisarev et al. A biomorphic neuroprocessor based on a composite memristor-diode crossbar
CN110121722B (zh) 用于存储和生成连接性信息的神经形态电路
US10783963B1 (en) In-memory computation device with inter-page and intra-page data circuits
US20210049448A1 (en) Neural network and its information processing method, information processing system
US20190311255A1 (en) Neuromorphic code processor
US20240005162A1 (en) Error-triggered learning of multi-layer memristive spiking neural networks
CN111581141A (zh) 存储器装置及其操作方法
JPH10134033A (ja) コンボリューション操作を行うための電子装置
Zhang et al. An FPGA-based memristor emulator for artificial neural network
CN111507463B (zh) 神经形态的符码处理器及操作所述符码处理器的方法
Hasan et al. High throughput neural network based embedded streaming multicore processors
Abdallah et al. Neuromorphic computing principles and organization
US11031079B1 (en) Dynamic digital perceptron
US11256503B2 (en) Computational memory
US11600320B2 (en) Perpectual digital perceptron
Kim et al. Markov chain Hebbian learning algorithm with ternary synaptic units
Indiveri et al. Neuromorphic Networks of Spiking Neurons
Higuchi et al. Applying evolvable hardware to autonomous agents
Wassef Architecture of the Extended-Input Binary Neural Network and Applications
CN114078519A (zh) 数字感知器装置及操作数字感知器装置的方法
CN115062583B (zh) 一种求解优化问题的hopfield网络硬件电路及操作方法
EP0276068B1 (en) An associative computation network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220614

Address after: 208, building 1, Information Port Phase V, No. 733, Jianshe Third Road, Xiaoshan Economic and Technological Development Zone, Hangzhou City, Zhejiang Province

Applicant after: Xinlijia integrated circuit (Hangzhou) Co.,Ltd.

Address before: California, USA

Applicant before: FlashSilicon Inc.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant