CN107273969A - 一种参数化可扩展的神经网络全连接层多层互连结构 - Google Patents

一种参数化可扩展的神经网络全连接层多层互连结构 Download PDF

Info

Publication number
CN107273969A
CN107273969A CN201710331078.5A CN201710331078A CN107273969A CN 107273969 A CN107273969 A CN 107273969A CN 201710331078 A CN201710331078 A CN 201710331078A CN 107273969 A CN107273969 A CN 107273969A
Authority
CN
China
Prior art keywords
layer
data
module
elementary cell
full articulamentum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710331078.5A
Other languages
English (en)
Other versions
CN107273969B (zh
Inventor
任鹏举
白宇雲
丁晓彤
朱梦娇
魏亚东
樊珑
秦琴
刘龙军
郑南宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN201710331078.5A priority Critical patent/CN107273969B/zh
Publication of CN107273969A publication Critical patent/CN107273969A/zh
Application granted granted Critical
Publication of CN107273969B publication Critical patent/CN107273969B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons

Abstract

本发明公开一种参数化可扩展的神经网络全连接层多层互连结构，包括若干层全连接层，每层全连接层例化了若干基本单元；一个基本单元连接一个路由器，同一全连接层中的基本单元经过路由器相连，形成全连接环；全连接环的路由器上下相连形成一种参数化可扩展的神经网络全连接层多层互连结构，支持双向的数据传递(前向推理，反向学习)。本发明采用可配置的全连接基本单元作为全连接层硬件实现的基础，用户可以根据实际使用的神经网络的需求通过设置参数控制生成多个基本单元并互连的方式完成其网络中全连接层的设计实现和并行加速；本发明的设计考虑了数据流水线，缩短了系统运行时钟周期，灵活配置全连接层的结构和规模，便于系统的快速部署实现。

Description

一种参数化可扩展的神经网络全连接层多层互连结构
技术领域
本发明属于人工神经网络技术领域，特别涉及一种参数化可扩展的神经网络全连接层多层互连结构。
背景技术
全连接层在神经网络算法中是必不可少的一部分，其构造一般是多层互连，每一层的输出作为下一层的输入。全连接层是神经网络中计算量最大，参数最多的部分，在整个算法中具有决定性的作用。随着神经网络的应用越来越广泛，需求不断增加，神经网络的深度逐步加深，全连接层的层数也会相应增加。目前比较流行神经神经网络算法中都用到了全连接层，而这些网络对全连接层的层数和每层输入输出的节点数目的配置都各有不同，以下列举一些目前常用的卷积神经网络算法结构中全连接层网络的结构：
1)主要用于手写数字体识别的经典网络LeNet-5中采用了三层卷积层和两层全连接层，全连接层共有214个神经元节点，包含一万多个参数；
2)在主要用于ImageNet数据库识别分类的经典结构AlexNet网络中采用了五层卷积层和三层全连接层，第一层全连接层有4096个神经元节点，第二层有4096个神经元节点，第三层有1000个神经元节点，共包含约两千万个参数；
3)在2014年出现的另一种同样识别ImageNet库的更深的网络VGG-Net网络中共采用了十五层的卷积层和三层全连接层，前两层全连接层各有4096个神经元节点，第三层有1000个神经元节点，共包含参数一亿多个参数。
随着计算网络规模不断扩大，参与计算的数据越来越多，而全连接层因为功能需要往往会占用整个系统参数的较大比例，训练一个网络需要成千上万次的迭代运算，用传统计算机CPU/GPU计算时数据会频繁在处理器和存储器间传递，存储带宽的限制和数据搬移造成过多的能耗，，采用专用计算架构实现卷积神经网络来提高计算效率成为目前的研究热点，而一种参数化可扩展的全连接层的设计是通用卷积神经网络加速平台的关键模块。
发明内容
本发明的目的在于提供一种参数化可扩展的神经网络全连接层多层互连结构，以解决上述技术问题。
为了实现上述的目的，本方案采用了如下的技术方案：
一种参数化可扩展的神经网络全连接层多层互连结构，包括若干层全连接层，每层全连接层例化了若干个基本单元；一个基本单元连接一个路由器，同一全连接层中的基本单元经过路由器相连，形成全连接环；全连接环的路由器上下相连形成一种参数化可扩展的神经网络全连接层多层互连结构。
进一步的，基本单元包括存储模块、地址计数器模块和若干基本列模块；若干基本列模块并列设置，每个基本列模块的输入端均连接基本单元的数据输入端和存储模块的输出端，每个基本列模块的输出端均连接基本单元的数据输出端；地址计数器模块的输入端连接一个基本列模块，地址计数器模块的输出端连接存储模块；地址计数器模块用于采集基本列模块的计算次数；存储模块包括权重SRAM和偏置SRAM；基本列模块用于根据存储模块输入的权重和偏置对接收的输入数据与权重进行相乘，然后与偏置相加获得输出数据进行输出。
进一步的，每层全连接层中的每个基本单元都从上一层接收数据，正向数据由卷积层和池化层输出到全连接的第一层F1；该层实例化了k1个基本模块，第一层F1中每个基本模块都从池化层接收数据，在F1层计算后传入下一层全连接F2，F2层也是根据输出的参数例化了k2个基本模块互连构成，数据在F2层计算完成后又传入F3(包含k3个基本模块)，一直传到最后一层全连接层Fn层(包含kn个基本模块)，其中，ki代表第i层的基本模块个数，计算后传入最后的分类输出层输出。
进一步的，全连接层各个基本单元接收到的数据后在本层内进行计算和传输的具体过程：在第一个时钟周期，第i+1层全连接层各个基本单元先对自己接收到的数据进行计算；在第二个时钟周期的时候这些数据同时以同一个方向移动到下游的基本单元；第二个时钟周期每个基本单元接收到的数据为自己前一个基本单元上一个时钟周期接收到的数据；第三个时钟周期每个基本单元仍重复上一个周期的操作，直到ki个时钟周期后，每个基本单元都接收到了ki次数据，正好对应了由上层传下来D1～Dki所有的数据，既同一个数据包遍历该层所有基本单元；由此，该结构实现了全连接层基本单元输入数据的共享。
进一步的，储模块是两个SRAM，一个按顺序存放着该基本单元计算需要权重值，另外一个存放着每个输出节点对应的偏置值；读地址模块由列模块输出的有效信号控制，输出当前两个SRAM的读地址；数据在全连接基本单元进行计算的过程是：从上层网络结构或本层其它基本单元处接收到的数据包进入该基本单元输入端口，该数据包的大小等于全连接基本单元输入端口的个数乘以端口的数据位宽；该数据包同时输入多个基本列模块，在每个列模块中拆分为单独的数据送入该列模块中的基本神经元模块中；在数据输入的同时，地址计数器模块将这些数据对应的权重所存的地址读入存储模块，将对应的一行权重数据包读入列模块，该权重数据包的大小也为全连接基本单元的输入端口乘以数据位宽，该权重数据包在列模块中进行拆分分配，送入不同的基本神经元中进行计算；每个基本神经元模块计算出一个数据，这些数据在基本列模块里进行相加、存储，等待下一次计算的结果出来继续累加、直到所有输入基本单元的数据包都参与了运算，随后由基本列模块输出最终结果，多个基本列模块将数据打包输出，输出数据包的大小为输出端口数乘以数据位宽。
进一步的，若上一层全连接环中的路由器数量小于下一层环中的路由数器数量，将下一层全连接环中的路由器等间隔与上一层环中的路由器相连；若上一层路由器数量大于下一层路由器数量，则将下一层环中已有的路由器等间隔增加路由器，路由器负责同层及层间的数据传输。。
进一步的，支持双向的数据传递(前向推理，反向学习)，同一层全连接环中传递同一类型数据包时，基本单元的发送数据包的方向一致。
相对于现有技术，本发明具有以下有益效果：
1、根据实际应用需求，可以通过参数配置生成不同层数和不同规模的神经网络全连接层。卷积神经网络算法中是由n层全连接互连构成的全连接网络，每层例化了ki个全连接基本单元，ki个基本单元两两相连形成一个闭合环路，每一层的ki值可以不同的数值。
2、全连接层每一层中的基本单元都可以从上层对应的基本单元或本层与之相邻的基本单元处接收数据，也可以将数据传输至下层基本单元或本层与之相邻的基本单元中。每层包含的全连接基本单元在各自收到上层传来的数据包后先在该单元中存储，第二个时钟周期将推理使用的数据包顺时针(学习使用的数据包逆时针)传入与之相邻的基本单元再次存储，之后一直将这种数据包按照同一个时钟方向传递，直到同一个数据包遍历该层所有基本单元，这样就实现了全连接的输入参与每个基本计算单元的功能要求。
3、构成全连接层的基本单元内部结构可根据参数进行配置。全连接基本单元的输入数据位宽、个数和数据批次数可配置，基本单元中负责计算操作的基本模块个数(本设计中称为基本列模块和基本神经元)以及每个基本模块里的结构可配置，输出数据位宽、个数和输出时刻可配置，这样就可以通过参数配置实现不同算法结构的全连接层网络硬件架构。
本发明采用可配置的全连接基本单元作为全连接层硬件实现的基础，用户可以根据实际使用的神经网络的需求通过设置参数控制生成多个基本单元并互连的方式完成其网络中全连接层的设计实现和并行加速。
附图说明
图1为本发明一种参数化可扩展的神经网络全连接层多层互连结构的结构图；
图2为本发明全连接层各基本单元收发数据流向示意图；
图3为本发明全连接层基本单元设计功能图；
图4为本发明全连接层基本单元硬件架构图。
具体实施方式
下面结合附图对本发明进行详细的描述
请参阅图1所示，本发明一种参数化可扩展的神经网络全连接层多层互连结构，是由n层全连接层互连构成的全连接网络，每层分别例化了若干个基本单元，每层中的每个基本单元都从上一层接收数据，黑色实线箭头描述的是全连接层正向网络的数据流向，黑色虚线箭头描述的是全连接层反向网络的数据流向，正向数据由卷积层和池化层输出到全连接的第一层F1，该层实例化了k1个基本模块，在图1中分别表示为F11～F1k1，第一层F1中每个基本模块都从池化层接收数据，在F1层计算后传入下一层全连接F2，F2层也是根据输出的参数例化了k2个基本模块互连构成，数据在F2层计算完成后又传入F3，就这样一直传到Fn层，计算后传入最后的输出分类层输出。
请参阅图2所示，全连接层各个基本单元接收到的数据后在本层内进行计算和传输的具体过程，假设Fi+1,1收到上层传来的数据为Di,1，Fi+1,2接收到的数据为Di,2,，以此类推，Fi+1,ki接收到数据Di,ki，那么在第一个时钟周期，Fi+1层各个基本单元先对自己接收到的数据进行计算，在第二个时钟周期的时候这些数据同时以同一个方向移动到下游的基本单元，图2中的顺时针方向的箭头表示此时的数据流向，如图所示，Fi+1,1原先接收到的数据Di,1移动至Fi+1,2，而Fi+1,2原先接收到的数据Di,2移动至Fi+1,3，Fi+1.k(i+1)原先接收到的数据Di,k移动至Fi+1,1，以此类推，所以第二个时钟周期每个基本单元接收到的数据即为自己前一个基本单元上一个时钟周期接收到的数据，第三个时钟周期每个基本单元重复上一个周期的操作，直到k个时钟周期后，每个基本单元都接收到了ki次数据，正好对应了由上层传下来的包括D1～Dki所有的数据，由此，该结构便实现了全连接层基本单元输入数据的共享。
请参阅图3所示，每一个基本单元的逻辑功能，假设一个基本单元有i个输入和j个输出，则可以构成图3中的类似于交叉开关的结构，数据从水平方向进入，竖直方向输出。交叉开关横纵交错的节点称为基本神经元。基本神经元中可以实现多个数据的乘加运算。全连接基本单元有i个输入，每个对应交叉结构的一行，需要计算的数据从该行的输入口传入该行每一个基本神经元中与每个基本神经元中的参数进行计算，所以j个输出端口的每一列都会计算出i个值，将每列的基本神经元合起来看做一个基本列模块，因为该基本单元完成全连接的乘加功能，全连接的每个输出结果由所有输入数据和权重值的积相加而成，因此将基本列模块中所有基本神经元计算的结果相加作为输出。
请参阅图4所示为全连接基本单元的设计架构；基本单元包括存储模块、地址计数器模块和若干基本列模块。若干基本列模块并列设置，每个基本列模块的输入端均连接基本单元的数据输入端和存储模块的输出端，每个基本列模块的输出端均连接基本单元的数据输出端；地址计数器模块的输入端连接一个基本列模块，地址计数器模块的输出端连接存储模块；地址计数器模块用于采集基本列模块的计算次数。存储模块包括权重SRAM和偏置SRAM。基本列模块用于根据存储模块输入的权重和偏置对接收的输入数据与权重进行相乘，然后与偏置相加获得输出数据进行输出。一个基本单元连接一个路由器，同一全连接层中的基本单元经过路由器相连，形成全连接环。
将全连接环的路由器上下相连，形成一种参数化可扩展的神经网络全连接层多层互连结构。若上一层环中的路由器数量小于下一层环中的路由数器数量，将下一层环中的路由器等间隔与上一层环中的路由器相连；若上一层路由器数量大于下一层路由器数量，则将下一层环中已有的路由器等间隔增加路由器，路由器负责同层及层间的数据传输。
基本列模块主要用于数据的运算，具体数目由参数决定，每个列模块中又根据配置参数实例化相应的基本神经元，这些基本神经元就对应了图3交叉开关的节点，其数量等于该全连接基本单元的输入的端口数。存储模块是两个SRAM，一个按顺序存放着该基本单元计算需要权重值(weight)，另外一个存放着每个输出节点对应的偏置值(bias)。读地址模块由列模块输出的有效信号控制，输出当前两个SRAM的读地址。数据在全连接基本单元进行计算的过程是：从上层网络结构或本层其它基本单元处接收到的数据包进入该基本单元输入端口，该数据包的大小等于全连接基本单元输入端口的个数乘以端口的数据位宽。该数据包同时输入多个基本列模块，在每个列模块中拆分为单独的数据送入该列模块中的基本神经元模块中。在数据输入的同时，地址计数器模块将这些数据对应的权重所存的地址读入存储模块，将对应的一行权重数据包读入列模块，该权重数据包的大小也为全连接基本单元的输入端口乘以数据位宽，该权重数据包在列模块中进行拆分分配，送入不同的基本神经元中进行计算。每个基本神经元模块计算出一个数据，这些数据在基本列模块里进行相加、存储，等待下一次计算的结果出来继续累加、直到所有输入基本单元的数据包都参与了运算，随后由基本列模块输出最终结果，多个列模块将数据打包输出，输出数据包的大小为输出端口数乘以数据位宽。
表1 为图4中英文变量对应的中文解释：
表1：全连接基本单元配置参数表
参数名称 参数意义
Datawidth 数据位宽
Num_datain 输入数据个数
Num_F_out 输出数据个数
Add_times 每获得一次输出结果需要接收数据的次数
Num_nrn_everycol 每个基本列模块含有基本神经元的个数
Para_row_num 存储模块存储的权重值行数
Para_column_num 存储模块每行存储的权重值个数
当前人工神经网络的发展趋势是定制专用的嵌入式人工智能芯片，以加快神经网络的训练和运行速度；本发明主要针对的是卷积神经网络的全连接部分在硬件上的实现方式提出一种参数化可扩展的多层全连接互连结构：利用参数配置生成不同规模的全连接网络；每层例化出多个全连接基本单元，每层中的全连接基本单元互连构成一个闭合回路用来分时传递需要计算的数据；每个基本单元的输入、输出数据个数可配置，基本列模块和基本神经元数目可配置。本发明的设计充分考虑了数据流水线，缩短了系统运行时钟周期，灵活配置全连接层的结构和规模，便于系统的快速部署实现。

Claims (7)

1.一种参数化可扩展的神经网络全连接层多层互连结构，其特征在于，包括若干层全连接层，每层全连接层例化了若干个基本单元；一个基本单元连接一个路由器，同一全连接层中的基本单元经过路由器相连，形成全连接环；全连接环的路由器上下相连形成一种参数化可扩展的神经网络全连接层多层互连结构。
2.根据权利要求1所述的一种参数化可扩展的神经网络全连接层多层互连结构，其特征在于，基本单元包括存储模块、地址计数器模块和若干基本列模块；若干基本列模块并列设置，每个基本列模块的输入端均连接基本单元的数据输入端和存储模块的输出端，每个基本列模块的输出端均连接基本单元的数据输出端；地址计数器模块的输入端连接一个基本列模块，地址计数器模块的输出端连接存储模块；地址计数器模块用于采集基本列模块的计算次数；存储模块包括权重SRAM和偏置SRAM；基本列模块用于根据存储模块输入的权重和偏置对接收的输入数据与权重进行相乘，然后与偏置相加获得输出数据进行输出。
3.根据权利要求1所述的一种参数化可扩展的神经网络全连接层多层互连结构，其特征在于，每层全连接层中的每个基本单元都从上一层接收数据，正向数据由卷积层和池化层输出到全连接的第一层F1；该层实例化了k1个基本模块，第一层F1中每个基本模块都从池化层接收数据，在F1层计算后传入下一层全连接F2，F2层根据输出的参数例化k2个基本模块互连构成，数据在F2层计算完成后又传入F3，F3层包含k3个基本模块，一直传到最后一层全连接层Fn层，Fn层包含kn个基本模块；其中，ki代表第i层的基本模块个数，计算后传入最后的分类输出层。
4.根据权利要求1所述的一种参数化可扩展的神经网络全连接层多层互连结构，其特征在于，全连接层各个基本单元接收到数据后在本层内进行计算和传输的具体过程：在第一个时钟周期，第i+1层全连接层各个基本单元先对自己接收到的数据进行计算；在第二个时钟周期的时候这些数据同时以同一个方向移动到下游的基本单元；第二个时钟周期每个基本单元接收到的数据为自己前一个基本单元上一个时钟周期接收到的数据；第三个时钟周期每个基本单元仍重复上一个周期的操作，直到ki个时钟周期后，每个基本单元都接收到了ki次数据，正好对应了由上层传下来D1～Dki所有的数据，既同一个数据包遍历该层所有基本单元；由此，该结构实现了全连接层基本单元输入数据的共享。
5.根据权利要求2所述的一种参数化可扩展的神经网络全连接层多层互连结构，其特征在于，存储模块是两个SRAM，一个按顺序存放着该基本单元计算需要权重值，另外一个存放着每个输出节点对应的偏置值；读地址模块由列模块输出的有效信号控制，输出当前两个SRAM的读地址；数据在全连接基本单元进行计算的过程是：从上层网络结构或本层其它基本单元处接收到的数据包进入该基本单元输入端口，该数据包的大小等于全连接基本单元输入端口的个数乘以端口的数据位宽；该数据包同时输入多个基本列模块，在每个列模块中拆分为单独的数据送入该列模块中的基本神经元模块中；在数据输入的同时，地址计数器模块将这些数据对应的权重所存的地址读入存储模块，将对应的一行权重数据包读入列模块，该权重数据包的大小也为全连接基本单元的输入端口乘以数据位宽，该权重数据包在列模块中进行拆分分配，送入不同的基本神经元中进行计算；每个基本神经元模块计算出一个数据，这些数据在基本列模块里进行相加、存储，等待下一次计算的结果出来继续累加、直到所有输入基本单元的数据包都参与了运算，随后由基本列模块输出最终结果，多个基本列模块将数据打包输出，输出数据包的大小为输出端口数乘以数据位宽。
6.根据权利要求1所述的一种参数化可扩展的神经网络全连接层多层互连结构，其特征在于，若上一层全连接环中的路由器数量小于下一层环中的路由数器数量，将下一层全连接环中的路由器等间隔与上一层环中的路由器相连；若上一层路由器数量大于下一层路由器数量，则将下一层环中已有的路由器等间隔增加新的路由器，路由器负责同层及层间的数据传输。
7.根据权利要求1所述的一种参数化可扩展的神经网络全连接层多层互连结构，其特征在于，支持双向的数据传递：前向推理，反向学习；同一层全连接环中传递同一类型数据包时，基本单元的发送数据包的方向一致。
CN201710331078.5A 2017-05-11 2017-05-11 一种参数化可扩展的神经网络全连接层多层互连结构 Active CN107273969B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710331078.5A CN107273969B (zh) 2017-05-11 2017-05-11 一种参数化可扩展的神经网络全连接层多层互连结构

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710331078.5A CN107273969B (zh) 2017-05-11 2017-05-11 一种参数化可扩展的神经网络全连接层多层互连结构

Publications (2)

Publication Number Publication Date
CN107273969A true CN107273969A (zh) 2017-10-20
CN107273969B CN107273969B (zh) 2020-06-19

Family

ID=60074158

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710331078.5A Active CN107273969B (zh) 2017-05-11 2017-05-11 一种参数化可扩展的神经网络全连接层多层互连结构

Country Status (1)

Country Link
CN (1) CN107273969B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107832839A (zh) * 2017-10-31 2018-03-23 北京地平线信息技术有限公司 执行卷积神经网络中的运算的方法和装置
WO2019085378A1 (zh) * 2017-10-30 2019-05-09 北京深鉴智能科技有限公司 高速全连接计算的硬件实现装置与方法
WO2019137060A1 (zh) * 2018-01-15 2019-07-18 合肥工业大学 基于多播片上网络的卷积神经网络硬件加速器及其工作方式
CN110543936A (zh) * 2019-08-30 2019-12-06 北京空间飞行器总体设计部 一种cnn全连接层运算的多并行加速方法
CN110825311A (zh) * 2018-08-10 2020-02-21 北京百度网讯科技有限公司 用于存储数据的方法和装置
CN112204581A (zh) * 2018-06-05 2021-01-08 三菱电机株式会社 学习装置、推演装置、方法及程序
CN112784967A (zh) * 2021-01-29 2021-05-11 北京百度网讯科技有限公司 信息处理方法、装置以及电子设备
CN113408807A (zh) * 2021-06-28 2021-09-17 内蒙古显鸿科技股份有限公司 基于全连接和lstm神经网络的空气污染预测建模算法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102004446A (zh) * 2010-11-25 2011-04-06 福建师范大学 具有多层结构的bp神经元自适应方法
CN106295799A (zh) * 2015-05-12 2017-01-04 核工业北京地质研究院 一种深度学习多层神经网络的实现方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102004446A (zh) * 2010-11-25 2011-04-06 福建师范大学 具有多层结构的bp神经元自适应方法
CN106295799A (zh) * 2015-05-12 2017-01-04 核工业北京地质研究院 一种深度学习多层神经网络的实现方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张任其等: "分布式环境下卷积神经网络并行策略研究", 《计算机工程与应用》 *
王裕民等: "多GPU环境下的卷积神经网络并行算法", 《小型微型计算机系统》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019085378A1 (zh) * 2017-10-30 2019-05-09 北京深鉴智能科技有限公司 高速全连接计算的硬件实现装置与方法
CN109740749A (zh) * 2017-10-30 2019-05-10 北京深鉴智能科技有限公司 高速全连接计算的硬件实现装置与方法
CN107832839A (zh) * 2017-10-31 2018-03-23 北京地平线信息技术有限公司 执行卷积神经网络中的运算的方法和装置
CN107832839B (zh) * 2017-10-31 2020-02-14 南京地平线机器人技术有限公司 执行卷积神经网络中的运算的方法和装置
WO2019137060A1 (zh) * 2018-01-15 2019-07-18 合肥工业大学 基于多播片上网络的卷积神经网络硬件加速器及其工作方式
CN112204581A (zh) * 2018-06-05 2021-01-08 三菱电机株式会社 学习装置、推演装置、方法及程序
CN110825311A (zh) * 2018-08-10 2020-02-21 北京百度网讯科技有限公司 用于存储数据的方法和装置
CN110825311B (zh) * 2018-08-10 2023-04-18 昆仑芯(北京)科技有限公司 用于存储数据的方法和装置
CN110543936A (zh) * 2019-08-30 2019-12-06 北京空间飞行器总体设计部 一种cnn全连接层运算的多并行加速方法
CN110543936B (zh) * 2019-08-30 2022-03-25 北京空间飞行器总体设计部 一种cnn全连接层运算的多并行加速方法
CN112784967A (zh) * 2021-01-29 2021-05-11 北京百度网讯科技有限公司 信息处理方法、装置以及电子设备
CN112784967B (zh) * 2021-01-29 2023-07-25 北京百度网讯科技有限公司 信息处理方法、装置以及电子设备
CN113408807A (zh) * 2021-06-28 2021-09-17 内蒙古显鸿科技股份有限公司 基于全连接和lstm神经网络的空气污染预测建模算法

Also Published As

Publication number Publication date
CN107273969B (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
CN107273969A (zh) 一种参数化可扩展的神经网络全连接层多层互连结构
CN106203621B (zh) 用于卷积神经网络计算的处理器
CN205139973U (zh) 基于fpga器件构建的bp神经网络
CN106022468B (zh) 人工神经网络处理器集成电路及该集成电路的设计方法
JP6960700B2 (ja) マルチキャストネットワークオンチップに基づいた畳み込みニューラルネットワークハードウェアアクセラレータおよびその動作方式
CN108416436A (zh) 使用多核心处理模块进行神经网络划分的方法及其系统
CN106951395A (zh) 面向压缩卷积神经网络的并行卷积运算方法及装置
CN107918794A (zh) 基于计算阵列的神经网络处理器
CN107679522A (zh) 基于多流lstm的动作识别方法
CN108197739A (zh) 一种城市轨道交通乘客流量预测方法
CN106485317A (zh) 一种神经网络加速器以及神经网络模型的实现方法
US5170463A (en) Neuro-computer
CN105469143B (zh) 基于神经网络动态特征的片上网络资源映射方法
CN106201651A (zh) 神经形态芯片的模拟器
CN107766935A (zh) 多层人造神经网络
CN108053848A (zh) 电路结构及神经网络芯片
CN106295799A (zh) 一种深度学习多层神经网络的实现方法
US11769040B2 (en) Scalable multi-die deep learning system
CN104680236A (zh) 核函数极限学习机分类器的fpga实现方法
CN107295453A (zh) 一种无线传感器网络数据融合方法
CN108960414A (zh) 一种基于深度学习加速器实现单广播多运算的方法
CN110033085A (zh) 张量处理器
CN103914429B (zh) 用于粗粒度动态可重构阵列的多模式数据传输互连器
CN112001141B (zh) 脑网络启发的中大规模片上互连系统综合方法
CN101901483A (zh) 泛化置信度传播的双目立体视觉匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant