CN113052306B - 一种基于堆叠式宽度学习模型的在线学习芯片 - Google Patents

一种基于堆叠式宽度学习模型的在线学习芯片 Download PDF

Info

Publication number
CN113052306B
CN113052306B CN202110238045.2A CN202110238045A CN113052306B CN 113052306 B CN113052306 B CN 113052306B CN 202110238045 A CN202110238045 A CN 202110238045A CN 113052306 B CN113052306 B CN 113052306B
Authority
CN
China
Prior art keywords
configuration information
width
memory
learning
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110238045.2A
Other languages
English (en)
Other versions
CN113052306A (zh
Inventor
陈俊龙
李淑贞
张通
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202110238045.2A priority Critical patent/CN113052306B/zh
Publication of CN113052306A publication Critical patent/CN113052306A/zh
Application granted granted Critical
Publication of CN113052306B publication Critical patent/CN113052306B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Stored Programmes (AREA)

Abstract

本发明提供了一种基于堆叠式宽度学习模型的在线学习芯片，包括主控制器、存储器和可重构处理单元阵列；其运行方式是：主控制器读取控制码，控制配置信息存储器向可重构处理单元阵列输出初始化的配置信息；可重构处理单元阵列根据初始化的配置信息将各个特征节点和增强节点一对一配置到处理单元；输入存储器将识别训练样本特征输入到模型电路中；将处理结果输出到输出存储器，之后将性能值信息反馈回主控制器；判断计算所得的性能值大小,以更新配置信息存储器中的宽度配置信息或深度配置信息；当计算所得的性能值≥设定的性能阈值时，在线学习停止，在线学习芯片固化。该芯片可计算资源低，功耗低，实时性强，具有在线学习能力。

Description

一种基于堆叠式宽度学习模型的在线学习芯片
技术领域
本发明涉及堆叠式宽度学习模型技术领域，更具体地说，涉及一种基于堆叠式宽度学习模型的在线学习芯片。
背景技术
宽度学习系统(Broad Learning System，BLS)是一种高效、浅层的增量式神经网络学习模型。它将输入映射成一组特征节点，随后再将特征节点映射成一组增强节点。宽度模型的输出可以表示为特征节点和增强节点的加权组合。宽度学习系统能够利用现有节点通过某种映射例如随机映射得到新的特征节点或者增强节点，动态增加新的特征节点或增强节点以达到更好的学习效果。
宽度学习系统具有与深度神经网络相似的性能，但是相比于深度神经网络，宽度学习系统复杂度低，计算量低，具有计算快速、拟合迅速的特点。但是现有的宽度学习算法都是单层横向扩展的，缺少一定的深度结构，因此具有深宽结构的宽度学习算法有待研究。
随着学习模型规模日益复杂，大大约束了芯片化的速度。现有的人工智能芯片实质上人工智能算法加速芯片，加之神经网络算法的离线训练方式，导致神经网络芯片不具备在线学习能力，不能随着大数据的更新而实时更新模型。现阶段的基于神经网络的处理器分为三类：1.基于冯诺依曼结构的通用处理器，例如人们所熟知的CPU、GPU、DSP等芯片；2.基于专用集成电路(Application-Specific Integrated Circuit,ASIC)设计的定制处理器；3.可重构处理器。其中，可重构处理器一般包括现场可编程门阵列(Filed-Programmable Gate Array,FPGA)和粗粒度可重构阵列(Coarse-Grained ReconfigurableArray,CGRA)。
CGRA是动态可重构处理器，采用粗粒度可重构处理阵列，粗粒度体现在通过配置信息将计算电路规整为特定处理单元，并通过配置信息进行切换计算电路。单次配置信息的信息量含量较小，具有实时切换效果，因此属于动态重构处理器，是实现在线学习神经网络运行的理想芯片，但目前利用CGRA来实现在线学习神经网络运行仍处于空白。
发明内容
为克服现有技术中的缺点与不足，本发明的目的在于提供一种基于堆叠式宽度学习模型的在线学习芯片；该芯片可计算资源低，功耗低，实时性强，具有在线学习能力。
为了达到上述目的，本发明通过下述技术方案予以实现：一种基于堆叠式宽度学习模型的在线学习芯片，其特征在于：在线学习芯片为粗粒度可重构阵列CGRA芯片；在线学习包括主控制器、存储器和由大量处理单元构成的可重构处理单元阵列；所述存储器包括指令存储器、配置信息存储器、输入存储器和输出存储器；
所述指令存储器存储有用于控制主控制器运行的控制码；所述控制码根据堆叠式宽度学习模型代码编译而成；所述配置信息存储器存储有配置信息；配置信息包括宽度学习层的层数、各层宽度学习层的特征节点数量和增强节点数量，以及节点连接关系；初始化的配置信息根据只包括一层宽度学习层的堆叠式宽度学习初始化模型来编译；
所述在线学习芯片的运行方式是：包括如下步骤：
S1、主控制器从指令存储器中读取控制码，控制配置信息存储器向可重构处理单元阵列输出初始化的配置信息；
可重构处理单元阵列根据初始化的配置信息将各个特征节点和增强节点一对一配置到处理单元，并根据配置信息的节点连接关系配置处理单元的连接关系形成初始模型电路；
S2、主控制器控制输入存储器将识别训练样本特征输入到模型电路中；模型电路将处理结果输出到输出存储器，输出存储器计算出性能值并将性能值信息反馈回主控制器；
S3、主控制器判断计算所得的性能值与设定的性能阈值之间的大小：
若计算所得的性能值＜设定的性能阈值，则跳至步骤S4；
若计算所得的性能值≥设定的性能阈值，则跳至步骤S5；
S4、判断当前宽度学习层的宽度规模是否小于上限阈值：
若是，则主控制器更新配置信息存储器中的宽度配置信息：横向增加特征节点和增强节点，并设定新增特征节点和增强节点的连接关系；主控制器控制配置信息存储器向可重构处理单元阵列输出更新后的宽度配置信息，可重构处理单元阵列收到宽度配置信息后更新模型电路；并跳至步骤S2；
否则主控制器固定当前宽度学习层的配置信息，并存储到配置信息存储器中；之后主控制器更新配置信息存储器中的深度配置信息，在当前宽度学习层上堆叠新的一层宽度学习层；主控制器控制配置信息存储器向可重构处理单元阵列输出更新后的深度配置信息，可重构处理单元阵列收到深度配置信息后更新模型电路；并跳至步骤S2；
S5、在线学习停止；将当前的配置信息和模型电路保存，实现在线学习芯片固化。
首先，本发明提出了一种堆叠式宽度学习模型；传统宽度学习模型是一种高效、浅层的增量式学习模型，具有动态横向扩展性，即新加入的数据以有效且高效的方式在横向上更新模型(宽度动态)，无需重新训练整体模型。而堆叠式宽度学习模型是在传统宽度学习模型的基础上，通过残差连接将多个宽度学习模块叠加起来，纵向增加了网络的深度，提高了网络的学习能力，同时纵向的训练方式仍然保留宽度学习的动态扩展性(深度动态)，无需重新训练整体模型。不同于深度神经网络的固定模型结构，堆叠式宽度学习模型是一种具有宽度动态扩展性和深度动态扩展性的模型，从而具有在线学习能力。同时模型复杂度低，具有高效和实时性，而且模型内部运算属于常规矩阵运算，容易实现芯片化。
其次，本发明结合CGRA芯片的动态可重构性(相当于动态可编程)，堆叠式宽度学习模型的深宽动态扩展优势在硬件上得以发挥。因此本发明在线学习芯片，通过数据管道不断将大量新训练数据输入到该芯片，经过预置的堆叠式宽度学习模型处理，向主控制器反馈结果，在一定阈值范围内按照既定的调整规则，重新调节堆叠式宽度学习模型的宽度结构和深度结构，并实时更新CGRA芯片的配置信息，重构出新堆叠式宽度学习模型的硬件结构。不断通过新训练数据的在线学习，性能达到既定的停止条件下，将得到当前最佳且专用于当前任务的堆叠式宽度学习推理芯片。
综上所述，本发明在线学习芯片因堆叠式宽度学习模型具有动态扩展性，从而具有在线学习能力，相对于深度神经网络的离线训练方式，大大缩短了从研究到落地的科研时间和科研成本；相对于深度神经网络计算芯片，具有一定的人工智能性；该芯片的内置算法因计算量低而具有高效且快速的优点，相比于深度神经网络，具有实时性。
优选地，所述步骤S4中，在当前宽度学习层上堆叠新的一层宽度学习层时，当前宽度学习层与新的一层宽度学习层之间采用残差连接。
优选地，所述控制码和配置信息的编译方法是：将堆叠式宽度学习模型代码进行规整，将规整后的代码分成软件部分与硬件部分；所述控制码根据所述软件部分编译而成；所述配置信息根据所述硬件部分编译而成。
优选地，所述将堆叠式宽度学习模型代码进行规整，是指：将堆叠式宽度学习模型的特征节点、增强节点、宽度学习层代码部分进行规整，形成解耦合的模块化形式，以便后期快速编译成高效的节点配置、宽度配置、深度配置信息；根据任务和评估标准，规整代码，设定性能阈值范围和在线学习停止条件，以便形成高效的在线学习环境。
优选地，所述将规整后的代码分成软件部分与硬件部分，是指：将特征节点、增强节点、宽度学习层从代码中划分出来作为硬件部分，硬件部分编译成配置信息存储到配置信息存储器；代码的其余部分为软件部分，软件部分编译成主控制器的控制码，以控制数据交换。
优选地，所述性能值是指准确率或召回率或敏感度或F1分数。
与现有技术相比，本发明具有如下优点与有益效果：
(1)现有深度神经网络模型的参数量巨大，模型计算复杂度高，芯片化需要对模型进行大量的压缩或者剪枝操作，性能因此会被降低，而且当前处理器的乘累加器阵列不适用于大量的卷积运算，因此深度神经网络芯片化技术难度大。而本发明堆叠式宽度学习模型以宽度和深度增量式学习的方式大大减少模型的计算量，而且其模型的复杂度远远低于深度神经网络模型，堆叠式宽度学习模型的基础计算是简单的矩阵运算，因此无需过多调整原有芯片的架构，便可芯片化。
(2)现有的深度神经网络芯片只是算法加速芯片，即在训练或者推理过程中能达到高效性能的加速芯片，并不是真正意义上的人工智能芯片。而基于堆叠式宽度学习模型的在线学习芯片，因堆叠式宽度学习模型能够在训练过程中灵活调整深度与宽度结构，且粗粒度可重构阵列也具有可重构性和动态硬件编程能力，因此该芯片具有在线学习能力。
(3)基于堆叠式宽度学习模型的在线学习芯片，所需计算资源低，功耗低，实时性强，而且人工干预性低。
(4)基于堆叠式宽度学习模型的在线学习芯片在某一任务数据训练结束后，能直接固化模型芯片，形成当前任务专用集成电路处理器，无需繁复的工序，便可得到针对当前任务的推理芯片，能够大大缩短研究到落地的时间成本和科研成本。
附图说明
图1是本发明在线学习芯片的结构框图；
图2是本发明在线学习芯片的运行方式的流程图；
图3是传统宽度学习模型的宽度动态示意图；
图4是本发明堆叠式宽度学习模型的训练动态示意图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细的描述。
实施例
本实施例一种基于堆叠式宽度学习模型的在线学习芯片，其特征在于：在线学习芯片为粗粒度可重构阵列CGRA芯片；如图1所示，在线学习芯片包括主控制器、存储器和由大量处理单元构成的可重构处理单元阵列；所述存储器包括指令存储器、配置信息存储器、输入存储器和输出存储器。
粗粒度可重构阵列CGRA芯片的各部分功能分别为：
主控制器：负责控制整个逻辑结构的运行、数据的交换。
指令存储器：存储主控器所需的控制码。
输入存储器：存储的是待处理数据。
输出存储器：保存的是处理单元的运算结果。
配置信息存储器：是芯片的核心部分之一；芯片“重构”过程主要是通过配置信息的切换完成的。根据配置信息切换的时长，可分为静态可重构处理器和动态可重构处理器。而FPGA提供细粒度的硬件电路计算，切换配置信息所需时间非常长难以做到实时，且运行过程中电路结构不会发生变化，因此属于静态可重构处理器。而粗粒度可重构处理阵列CGRA则是将算法模型进行软硬件划分，并将模型适合硬件加速的计算密集型部分划分出来，编译成配置信息存储到配置存储器，而软件部分编译成主控制器的控制码，控制数据交换，并根据配置信息在可重构处理单元中实时配置电路。因此计算阵列的电路形式可以在程序运行的过程中动态调整，以便于硬件重复利用。
在基于堆叠式宽度学习模型的在线学习芯片设计中，根据堆叠式宽度学习算法的宽度和深度动态扩展性，将节点与宽度学习模块编译成层次化的配置信息，并存储到配置存储器中。首先堆叠式宽度学习的最小单位是特征节点与增强节点，通过特征节点与增强节点的组合形成宽度学习基础模块，通过堆叠不同的宽度学习基础模块获得整体的堆叠式宽度学习模型。基于堆叠式宽度学习模型的层次化结构，本专利设置层次化的配置信息，以便硬件适应模型层次化结构。特征节点与增强节点设置编译成节点配置信息，宽度学习基础模块的横向布局将设置编译成宽度配置信息，而堆叠层纵向布局将设置编译成深度配置信息。设置由节点配置、宽度配置、深度配置组成的自底向上的层次化配置信息，相当于把计算单元进行了进一步的不同层次化的电路集成，大大缩短了可配置互连的复杂度，提高效率，保持更好的实时性。
可重构处理单元阵列：由大量的处理单元(Processing Element,PE)构成；每个处理单元由一个算术逻辑单元、一些寄存器和一些多路复用选择器组成，可以相应执行各种粗粒度的运算操作；两两处理单元间的互连形式有很多种，常用的是一维互连形式，只有上下处理单元间可以互通。由于堆叠式宽度学习具有横向和纵向扩展性，因此采用二维mesh互连模式，即两两处理单元间可以横向与纵向互通。
指令存储器存储有用于控制主控制器运行的控制码；控制码根据堆叠式宽度学习模型代码编译而成；配置信息存储器存储有配置信息；配置信息包括宽度学习层的层数、各层宽度学习层的特征节点数量和增强节点数量，以及节点连接关系；初始化的配置信息根据只包括一层宽度学习层的堆叠式宽度学习初始化模型来编译；
所述在线学习芯片的运行方式是：如图2所示，包括如下步骤：
S1、主控制器从指令存储器中读取控制码，控制配置信息存储器向可重构处理单元阵列输出初始化的配置信息；
可重构处理单元阵列根据初始化的配置信息将各个特征节点和增强节点一对一配置到处理单元，并根据配置信息的节点连接关系配置处理单元的连接关系形成初始模型电路；
S2、主控制器控制输入存储器将识别训练样本特征输入到模型电路中；模型电路将处理结果输出到输出存储器，输出存储器计算出性能值并将性能值信息反馈回主控制器；
S3、主控制器判断计算所得的性能值(性能值是指准确率或召回率或敏感度或F1分数)与设定的性能阈值之间的大小：
若计算所得的性能值＜设定的性能阈值，则跳至步骤S4；
若计算所得的性能值≥设定的性能阈值，则跳至步骤S5；
S4、判断当前宽度学习层的宽度规模是否小于上限阈值：
若是，则主控制器更新配置信息存储器中的宽度配置信息：横向增加特征节点和增强节点，并设定新增特征节点和增强节点的连接关系；主控制器控制配置信息存储器向可重构处理单元阵列输出更新后的宽度配置信息，可重构处理单元阵列收到宽度配置信息后更新模型电路；并跳至步骤S2；
否则主控制器固定当前宽度学习层的配置信息，并存储到配置信息存储器中；之后主控制器更新配置信息存储器中的深度配置信息，在当前宽度学习层上堆叠新的一层宽度学习层；主控制器控制配置信息存储器向可重构处理单元阵列输出更新后的深度配置信息，可重构处理单元阵列收到深度配置信息后更新模型电路；并跳至步骤S2；
在当前宽度学习层上堆叠新的一层宽度学习层时，当前宽度学习层与新的一层宽度学习层之间采用残差连接；
S5、在线学习停止；将当前的配置信息和模型电路保存，实现在线学习芯片固化。
优选方案是：所述控制码和配置信息的编译方法是：将堆叠式宽度学习模型代码进行规整，将规整后的代码分成软件部分与硬件部分；所述控制码根据所述软件部分编译而成；所述配置信息根据所述硬件部分编译而成。
所述将堆叠式宽度学习模型代码进行规整，是指：将堆叠式宽度学习模型的特征节点、增强节点、宽度学习层代码部分进行规整，形成解耦合的模块化形式，以便后期快速编译成高效的节点配置、宽度配置、深度配置信息；根据任务和评估标准，规整代码，设定性能阈值范围和在线学习停止条件，以便形成高效的在线学习环境。
所述将规整后的代码分成软件部分与硬件部分，是指：将特征节点、增强节点、宽度学习层从代码中划分出来作为硬件部分，硬件部分编译成配置信息存储到配置信息存储器；代码的其余部分为软件部分，软件部分编译成主控制器的控制码，以控制数据交换。
首先，本发明提出了一种堆叠式宽度学习模型。传统宽度学习模型是一种高效、浅层的增量式学习模型，具有动态横向扩展性，即新加入的数据以有效且高效的方式在横向上更新模型(宽度动态)，无需重新训练整体模型。
传统宽度学习模型如图3所示，将输入特征X随机映射到特征节点Z1,Z2,…,Zn，然后映射的特征被随机映射成增强节点H1,H2,…,Hm。最后将映射特征与增强特征连接到输出端，对应的权重系数w可通过伪逆求解。如果网络结构需要扩展，宽度学习系统可以进行宽度动态扩展，即针对新输入数据，在宽度上扩展特征节点和增强节点，进行快速增量学习而无需重新训练整个网络。而输出层的伪逆的更新，只需要计算新增加部分的权重即可。这种横向增量学习的训练过程可节省大量时间，因此宽度学习系统可以高效地应用于在线学习。
堆叠式宽度学习模型是在传统宽度学习模型的基础上，通过残差连接将多个宽度学习模块叠加起来，纵向增加了网络的深度，提高了网络的学习能力，同时纵向的训练方式仍然保留宽度学习的动态扩展性(深度动态)，无需重新训练整体模型。不同于深度神经网络的固定模型结构，堆叠式宽度学习模型是一种具有宽度动态扩展性和深度动态扩展性的模型，从而具有在线学习能力。同时模型复杂度低，具有高效和实时性，而且模型内部运算属于常规矩阵运算，容易实现芯片化。
堆叠式宽度学习模型的构建过程如图4所示：训练时，首先用样本x训练第一个宽度学习模块来逼近目标输出y，然后将其输出u1作为训练第二个宽度学习模块的输入，从而逼近残差y-u1，以此类推，第i个宽度学习模块的输出ui作为训练第i+1个宽度学习模块的输入来逼近残差
Figure BDA0002961036870000081
整个网络的输出可以表示为
Figure BDA0002961036870000091
在整个过程中，可以纵向自由增加宽度学习模块以及横向增加每个模块内部的特征节点和增强节点。
堆叠式宽度学习具有“宽度动态扩展性”和“深度动态扩展性”。宽度动态扩展性体现在每一个宽度学习模块内部的神经元上：当需要增加特征节点、增强节点时，只需要学习新增部分神经元的权重即可，原始节点的权重矩阵可增量学习，不用重新学习。深度动态扩展性体现在宽度学习模块之间：当叠加新的宽度学习模块时，下层模块的参数固定不变，只需要计算新叠加的宽度学习模块的网络参数即可。在实际应用中，堆叠式宽度学习可以灵活地改变网络结构的宽度和深度，能够针对不同任务进行动态调整，具有很强的适应性。
其次，本发明结合CGRA芯片的动态可重构性(相当于动态可编程)，堆叠式宽度学习模型的深宽动态扩展优势在硬件上得以发挥。因此本发明在线学习芯片，通过训练数据管道不断将大量新数据输入到该芯片，经过预置的堆叠式宽度学习模型处理，向主控制器反馈结果，在一定阈值范围内按照既定的调整规则，重新调节堆叠式宽度学习模型的宽度结构和深度结构，并实时更新CGRA芯片的配置信息，重构出新堆叠式宽度学习模型的硬件结构。不断通过新训练数据的在线学习，性能达到既定的停止条件下，将得到当前最佳且专用于当前任务的堆叠式宽度学习推理芯片。
综上所述，本发明在线学习芯片因堆叠式宽度学习模型具有动态扩展性，从而具有在线学习能力，相对于深度神经网络的离线训练方式，大大缩短了从研究到落地的科研时间和科研成本；相对于深度神经网络计算芯片，具有一定的人工智能性；该芯片的内置算法因计算量低而具有高效且快速的优点，相比于深度神经网络，具有实时性。
本发明基于堆叠式宽度学习模型的在线学习芯片，其任务可以为情感识别，也可以为其他分类任务。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种基于堆叠式宽度学习模型的在线学习芯片，其特征在于：在线学习芯片为粗粒度可重构阵列CGRA芯片；在线学习包括主控制器、存储器和由大量处理单元构成的可重构处理单元阵列；所述存储器包括指令存储器、配置信息存储器、输入存储器和输出存储器；
所述指令存储器存储有用于控制主控制器运行的控制码；所述控制码根据堆叠式宽度学习模型代码编译而成；所述配置信息存储器存储有配置信息；配置信息包括宽度学习层的层数、各层宽度学习层的特征节点数量和增强节点数量，以及节点连接关系；初始化的配置信息根据只包括一层宽度学习层的堆叠式宽度学习初始化模型来编译；
所述在线学习芯片的运行方式是：包括如下步骤：
S1、主控制器从指令存储器中读取控制码，控制配置信息存储器向可重构处理单元阵列输出初始化的配置信息；
可重构处理单元阵列根据初始化的配置信息将各个特征节点和增强节点一对一配置到处理单元，并根据配置信息的节点连接关系配置处理单元的连接关系形成初始模型电路；
S2、主控制器控制输入存储器将识别训练样本特征输入到模型电路中；模型电路将处理结果输出到输出存储器，输出存储器计算出性能值并将性能值信息反馈回主控制器；
S3、主控制器判断计算所得的性能值与设定的性能阈值之间的大小：
若计算所得的性能值＜设定的性能阈值，则跳至步骤S4；
若计算所得的性能值≥设定的性能阈值，则跳至步骤S5；
S4、判断当前宽度学习层的宽度规模是否小于上限阈值：
若是，则主控制器更新配置信息存储器中的宽度配置信息：横向增加特征节点和增强节点，并设定新增特征节点和增强节点的连接关系；主控制器控制配置信息存储器向可重构处理单元阵列输出更新后的宽度配置信息，可重构处理单元阵列收到宽度配置信息后更新模型电路；并跳至步骤S2；
否则主控制器固定当前宽度学习层的配置信息，并存储到配置信息存储器中；之后主控制器更新配置信息存储器中的深度配置信息，在当前宽度学习层上堆叠新的一层宽度学习层；主控制器控制配置信息存储器向可重构处理单元阵列输出更新后的深度配置信息，可重构处理单元阵列收到深度配置信息后更新模型电路；并跳至步骤S2；
S5、在线学习停止；将当前的配置信息和模型电路保存，实现在线学习芯片固化。
2.根据权利要求1所述的基于堆叠式宽度学习模型的在线学习芯片，其特征在于：所述步骤S4中，在当前宽度学习层上堆叠新的一层宽度学习层时，当前宽度学习层与新的一层宽度学习层之间采用残差连接。
3.根据权利要求1所述的基于堆叠式宽度学习模型的在线学习芯片，其特征在于：所述控制码和配置信息的编译方法是：将堆叠式宽度学习模型代码进行规整，将规整后的代码分成软件部分与硬件部分；所述控制码根据所述软件部分编译而成；所述配置信息根据所述硬件部分编译而成。
4.根据权利要求3所述的基于堆叠式宽度学习模型的在线学习芯片，其特征在于：所述将堆叠式宽度学习模型代码进行规整，是指：将堆叠式宽度学习模型的特征节点、增强节点、宽度学习层代码部分进行规整，形成解耦合的模块化形式；根据任务和评估标准，规整代码，设定性能阈值范围和在线学习停止条件。
5.根据权利要求4所述的基于堆叠式宽度学习模型的在线学习芯片，其特征在于：所述将规整后的代码分成软件部分与硬件部分，是指：将特征节点、增强节点、宽度学习层从代码中划分出来作为硬件部分，硬件部分编译成配置信息存储到配置信息存储器；代码的其余部分为软件部分，软件部分编译成主控制器的控制码。
6.根据权利要求1所述的基于堆叠式宽度学习模型的在线学习芯片，其特征在于：所述性能值是指准确率或召回率或敏感度或F1分数。
CN202110238045.2A 2021-03-04 2021-03-04 一种基于堆叠式宽度学习模型的在线学习芯片 Active CN113052306B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110238045.2A CN113052306B (zh) 2021-03-04 2021-03-04 一种基于堆叠式宽度学习模型的在线学习芯片

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110238045.2A CN113052306B (zh) 2021-03-04 2021-03-04 一种基于堆叠式宽度学习模型的在线学习芯片

Publications (2)

Publication Number Publication Date
CN113052306A CN113052306A (zh) 2021-06-29
CN113052306B true CN113052306B (zh) 2022-04-22

Family

ID=76509702

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110238045.2A Active CN113052306B (zh) 2021-03-04 2021-03-04 一种基于堆叠式宽度学习模型的在线学习芯片

Country Status (1)

Country Link
CN (1) CN113052306B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114355171B (zh) * 2022-03-15 2022-12-23 江苏清微智能科技有限公司 一种可重构芯片性能瓶颈检测平台、检测方法及电子设备
CN115129393B (zh) * 2022-07-06 2023-04-25 北京中科海芯科技有限公司 一种应用配置确定方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105243342A (zh) * 2015-10-08 2016-01-13 浪潮(北京)电子信息产业有限公司 一种基于一次可编程查找表的标准单元逻辑电路
CN111433792A (zh) * 2017-12-13 2020-07-17 国际商业机器公司 可编程可重置人工神经网络的基于计数器的电阻处理单元
CN111461176A (zh) * 2020-03-09 2020-07-28 华南理工大学 基于归一化互信息的多模态融合方法、装置、介质及设备
CN111709523A (zh) * 2020-06-19 2020-09-25 中国矿业大学 一种基于内部集成的宽度学习方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106033555A (zh) * 2015-03-13 2016-10-19 中国科学院声学研究所 基于满足k度稀疏约束的深度学习模型的大数据处理方法
US10460237B2 (en) * 2015-11-30 2019-10-29 International Business Machines Corporation Neuron-centric local learning rate for artificial neural networks to increase performance, learning rate margin, and reduce power consumption

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105243342A (zh) * 2015-10-08 2016-01-13 浪潮(北京)电子信息产业有限公司 一种基于一次可编程查找表的标准单元逻辑电路
CN111433792A (zh) * 2017-12-13 2020-07-17 国际商业机器公司 可编程可重置人工神经网络的基于计数器的电阻处理单元
CN111461176A (zh) * 2020-03-09 2020-07-28 华南理工大学 基于归一化互信息的多模态融合方法、装置、介质及设备
CN111709523A (zh) * 2020-06-19 2020-09-25 中国矿业大学 一种基于内部集成的宽度学习方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Broad Learning System: An Effective and Efficient Incremental Learning System Without the Need for Deep Architecture;C. L. Philip Chen 等;《IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS》;20180131;第29卷(第1期);第I-V节 *
Downsizing and enhancing broad learning systems by feature augmentation and residuals boosting;XIE，Runshan 等;《Complex & Intelligent Systems》;20200409;第411-429页 *

Also Published As

Publication number Publication date
CN113052306A (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
CN109460817B (zh) 一种基于非易失存储器的卷积神经网络片上学习系统
CN113052306B (zh) 一种基于堆叠式宽度学习模型的在线学习芯片
CN110175671A (zh) 神经网络的构建方法、图像处理方法及装置
CN108510063B (zh) 一种应用于卷积神经网络的加速方法和加速器
CN106485317A (zh) 一种神经网络加速器以及神经网络模型的实现方法
CN109102065A (zh) 一种基于PSoC的卷积神经网络加速器
CN109409510B (zh) 神经元电路、芯片、系统及其方法、存储介质
CN110321064A (zh) 用于神经网络的计算平台实现方法及系统
US20210192327A1 (en) Apparatus and method for neural network computation
US11562220B2 (en) Neural processing unit capable of reusing data and method thereof
CN108520297A (zh) 可编程深度神经网络处理器
CN111831358B (zh) 权重精度配置方法、装置、设备及存储介质
CN113641481A (zh) 一种采用dqn的fpga任务调度优化方法及系统
Ankit et al. Trannsformer: Clustered pruning on crossbar-based architectures for energy-efficient neural networks
CN109685208B (zh) 一种用于神经网络处理器数据稀梳化加速的方法及装置
Dong et al. Reinforcement learning-based wind farm control: towards large farm applications via automatic grouping and transfer learning
CN116644804B (zh) 分布式训练系统、神经网络模型训练方法、设备和介质
KR20220024076A (ko) 기계 학습 모델 성능의 최적화
KR102544063B1 (ko) 데이터 재사용이 가능한 신경 프로세싱 유닛 및 그 방법
Zhao et al. A mapping method for convolutional neural networks on network-on-chip
Chang et al. Evolutionary self-organizing map
CN112163284A (zh) 一种水下航行器操稳性因果分析方法
CN112749799B (zh) 基于自适应ReLU的全频域卷积神经网络的硬件加速器、加速方法和图像分类方法
US11886973B2 (en) Neural processing unit including variable internal memory
CN114154616B (zh) 一种rnn并行模型及其在多核cpu上的实现方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant