CN109993293B - 一种适用于堆叠式沙漏网络的深度学习加速器 - Google Patents

一种适用于堆叠式沙漏网络的深度学习加速器 Download PDF

Info

Publication number
CN109993293B
CN109993293B CN201910150398.XA CN201910150398A CN109993293B CN 109993293 B CN109993293 B CN 109993293B CN 201910150398 A CN201910150398 A CN 201910150398A CN 109993293 B CN109993293 B CN 109993293B
Authority
CN
China
Prior art keywords
data
layer
convolution
module
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910150398.XA
Other languages
English (en)
Other versions
CN109993293A (zh
Inventor
栗涛
陈弟虎
梁东宝
萧嘉乐
叶灵昶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN201910150398.XA priority Critical patent/CN109993293B/zh
Publication of CN109993293A publication Critical patent/CN109993293A/zh
Application granted granted Critical
Publication of CN109993293B publication Critical patent/CN109993293B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Image Input (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本发明公开了一种适用于堆叠式沙漏网络的深度学习加速器，并行计算的层计算单元提高了计算并行度，数据缓存模块在加快计算速度的同时提高了载入到加速器内部缓存的数据的利用率；同时加速器内部的数据调整器可以根据计算层操作的不同能够进行自适应的数据排布顺序的变化，能够增加获取数据的完整性，提高数据获取的效率，减少访存过程的延时。因此，本加速器在提高算法计算速度的同时通过减少内存访问次数及提高访存效率来有效地降低了内存带宽，从而实现加速器整体的计算加速性能。

Description

一种适用于堆叠式沙漏网络的深度学习加速器
技术领域
本发明属于神经网络训练领域，具体涉及一种适用于堆叠式沙漏网络的深度学习加速器。
背景技术
深度神经网络(Deep Neural Networks)是深度学习中的算法模型，由于其与传统算法相比有更加出色的表现，现已被广泛地应用在图像分类、目标识别、姿态识别等各个领域中。深度神经网络需要进行大量的数据计算，传统的通用处理器由于架构的限制导致计算速度较慢，不能满足实时应用的需求，因此需要设计专用的神经网络加速器为深度神经网络的实时计算提供硬件支持。
在姿态识别应用中，一种识别准确度较高的称为堆叠式沙漏网络(StackedHourglass Network)的深度神经网络结构被提出。该算法的网络结构中包含深度可分离卷积模块和多层次残差结构，在计算过程中这些计算层需要计算单元大量访问内存获取计算所需要的数据。访存过程中产生的延时将会占用大部分硬件运行时间，因此新的网络结构会大大减慢硬件计算的速度。
堆叠式沙漏网络结构中大量使用了深度可分离卷积模块和多层次残差结构，在计算过程中这些计算层需要计算单元大量访问内存获取计算所需要的数据，访存过程中产生的延时将会占用大部分硬件运行时间，过去的深度神经网络加速器中没有对上述提到的网络结构的访存方式提供优化的计算电路，因此并不能为该结构提供有效的加速效果。同时，由于没有优化的电路设计导致的额外的访存也会带来额外的功耗，使得带有该种加速器单元的设备的续航能力大大降低。
发明内容
为了克服上述技术缺陷，本发明提供一种适用于堆叠式沙漏网络的深度学习加速器，在提高算法计算速度的同时通过减少内存访问次数及提高访存效率来有效地降低了内存带宽，从而实现加速器整体的计算加速性能。
为了解决上述问题，本发明按以下技术方案予以实现的：
一种适用于堆叠式沙漏网络的深度学习加速器，包括控制模块、数据计算模块和数据缓存模块；
所述控制模块，连接至主控处理器，用于接收所述主控处理器输入的控制信号，根据所述控制信号控制所述数据计算模块和所述数据缓存模块；
所述数据计算模块包括多个层计算单元；所述层计算单元用于执行堆叠式沙漏网络中的数据处理操作；
所述层计算单元包括：
数据调整器，用于根据预设的卷积信息对输入的图像处理数据进行重新排列；所述图像处理数据包括图像数据和权值数据；所述卷积信息包括卷积核大小和步长；
乘法器，用于对重排后的所述图像处理数据按位进行并行的乘法操作；
可配置级数的加法器，用于对所述数据调整器的输出结果和所述乘法器的输出结果执行累加操作；
所述数据缓存模块，连接至系统内存，用于获取所述系统内存中的所述图像处理数据并传输至所述数据计算模块，或将所述层计算单元的输出结果进行缓存，或将所述输出结果输入至所述层计算单元进行计算。
进一步的，所述数据调整器将所述图像数据以矩阵形式排布，按照所述卷积核大小和步长，将每一步欲进行卷积操作的向量数据依次取出，并按卷积顺序排列得到重排后的图像数据；
所述数据调整器将所述权值数据按次序读取并根据卷积顺序进行复制排列得到重排后的权值数据；
所述数据调整器将所述重排后的图像数据和所述重排后的权值数据并行输入所述乘法器；
所述乘法器将所述图像数据和对应位的所述权值数据进行并行的乘法操作。
进一步的，所述层计算单元间设置有数据重排模块，用于根据输出端所连接的所述层计算单元的卷积类型对数据进行方向重排。
进一步的，所述卷积类型包括逐层卷积和逐点卷积；
当所述卷积类型为逐层卷积时，所述数据重排模块将所述数据按照“行-列-通道”的方向顺序进行遍历排列；
当所述卷积类型为逐点卷积时，所述数据重排模块将所述数据按照“通道-行-列”的方向顺序进行遍历排列。
进一步的，所述层计算单元还包括：
RELU计算单元，用于对所述加法器的输出结果使用RELU激活函数进行处理。
进一步的，所述层计算单元的输出结果包括中间结果和残差结果；所述中间结果用于直接输入到下一层的所述层计算单元的输入端；所述残差结果用于旁路至对应的层计算单元的输入端；
所述数据缓存模块包括：
中间结果储存器，用于储存所述中间结果；
残差结果储存器，用于以压栈结构的形式对所述残差结果进行储存。
进一步的，所述层计算单元还包括：
上采样映射器，用于在所述层计算单元执行上采样操作时，将输出结果的地址映射至输入数据的地址得到上采样结果。
进一步的，所述上采样映射器以行地址拼接列地址的方式表示像素的地址，所述行地址和所述列地址均为二进制地址；
在执行上采样操作时，所述上采样映射器将输出结果的像素地址映射至输入数据的变换像素地址，所述变换像素地址为尾端截去固定位数的所述行地址拼接尾端截去固定位数的所述列地址。
进一步的，所述固定位数满足：n＝log2(s)
其中，n为所述固定位数，s为所述上采样操作的步长的数值。
进一步的，所述层计算单元的输入为两组256位操作数向量，每组256位的操作数向量代表16个16位的定点操作数。
相对于现有技术，本发明的有益效果为：
本发明公开了一种适用于堆叠式沙漏网络的深度学习加速器，并行计算的层计算单元提高了计算并行度，数据缓存模块在加快计算速度的同时提高了载入到加速器内部缓存的数据的利用率；同时加速器内部的数据调整器可以根据计算层操作的不同能够进行自适应的数据排布顺序的变化，能够增加获取数据的完整性，提高数据获取的效率，减少访存过程的延时。因此，本加速器在提高算法计算速度的同时通过减少内存访问次数及提高访存效率来有效地降低了内存带宽，从而实现加速器整体的计算加速性能。
附图说明
图1是本发明的实施例中所述适用于堆叠式沙漏网络的深度学习加速器的结构示意图；
图2是本发明的实施例中所述层计算单元的结构示意图；
图3是本发明的实施例中所述数据调整器的图像数据调整示意图；
图4是本发明的实施例中所述数据调整器的权值数据调整示意图；
图5是本发明的实施例中所述数据重排模块的数据重排示意图；
图6是本发明的实施例中所述网络残差结构和数据缓存模块的示意图；
图7是本发明的实施例中所述上采样的数据处理示意图；
图8是本发明的实施例中所述上采样映射器的数据地址映射的示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
如图1所示，本实施例公开了一种适用于堆叠式沙漏网络的深度学习加速器，包括控制模块1、数据计算模块2和数据缓存模块3；
控制模块1，连接至主控处理器，用于接收主控处理器输入的控制信号，根据控制信号控制数据计算模块2和数据缓存模块3；
具体的，如图2所示，数据计算模块2包括多个层计算单元21；层计算单元21用于执行堆叠式沙漏网络中的数据处理操作；
层计算单元21包括：
数据调整器211，用于根据预设的卷积信息对输入的图像处理数据进行重新排列；图像处理数据包括图像数据和权值数据；卷积信息包括卷积核大小和步长；
乘法器212，用于对重排后的图像处理数据按位进行并行的乘法操作；
可配置级数的加法器213，用于对数据调整器的输出结果和乘法器的输出结果执行累加操作；
数据缓存模块3，连接至系统内存，用于获取系统内存中的图像处理数据并传输至数据计算模块，或将层计算单元的输出结果进行缓存，或将输出结果输入至层计算单元进行计算。
通过上述公开的深度学习加速器，并行计算的层计算单元提高了计算并行度，数据缓存模块在加快计算速度的同时提高了载入到加速器内部缓存的数据的利用率；同时加速器内部的数据调整器可以根据计算层操作的不同能够进行自适应的数据排布顺序的变化，能够增加获取数据的完整性，提高数据获取的效率，减少访存过程的延时。因此，本加速器在提高算法计算速度的同时通过减少内存访问次数及提高访存效率来有效地降低了内存带宽，从而实现加速器整体的计算加速性能。
具体的，层计算单元的输入为两组256位操作数向量，每组256位的操作数向量代表16 个16位的定点操作数。
在进一步的实施例中，数据调整器将图像数据以矩阵形式排布，按照卷积核大小和步长，将每一步欲进行卷积操作的向量数据依次取出，并按卷积顺序排列得到重排后的图像数据；
以16位的图像数据的输入向量为例，若欲实施步长为1的3×3卷积，如图3中左侧所示，首先以矩阵形式将输入向量的16个数排列成输入图像中的4×4的二维数据块，再将每一步欲进行卷积操作的向量数据依次取出，并按卷积顺序排列，经过重排之后的输入数据为 1×18的数据向量，可以同时计算两个在行方向相邻的数据点的卷积操作；
若要进行步长为2的3×3卷积，如图3中右侧所示，经过重排后的输入数据为1×18的数据向量，同样可以同时计算两个在行方向上相邻的数据点的卷积操作。
在进一步的实施例中，数据调整器将权值数据按次序读取并根据卷积顺序进行复制排列得到重排后的权值数据；具体的，以3×3卷积层的权值数据为例，如图4所示，数据调整器将权值数据按次序读取并根据卷积顺序进行复制排列，使权值向量的前9位重复排列形成1 ×18的重排后的权值数据。
进一步的，数据调整器将重排后的图像数据和重排后的权值数据并行输入乘法器；乘法器将图像数据和对应位的权值数据进行并行的乘法操作。通过上述数据重排操作，根据计算层操作的不同能够进行自适应的数据排布顺序的变化，能够增加获取数据的完整性，提高数据获取的效率，减少访存过程的延时，乘法器也可以对重排后的图像数据和权值数据进行并行计算，大大提高了计算的效率。
在进一步的实施例中，本加速器对堆叠式沙漏算法中大量存在的深度可分离卷积模块进行优化。深度可分离卷积(Depthwise Separable Convolution)模块中包含逐层卷积 (Depthwise Convolution)和逐点卷积(Pointwise Convolution)。本加速器中的层计算单元间设置有数据重排模块，用于根据输出端所连接的层计算单元的卷积类型对数据进行方向重排。
具体的，卷积类型包括逐层卷积和逐点卷积；
当卷积类型为逐层卷积时，不同通道的数据点分别与卷积核中不同通道的权值进行卷积操作，因此如图4左侧所示，数据重排模块将数据按照“行-列-通道”的方向顺序进行遍历排列；
当卷积类型为逐点卷积时，对于逐点卷积来说，需要将不同通道上对应宽高的点与卷积核中不同通道的权值进行卷积操作，如果仍保留“行-列-通道”的数据排布顺序的话会导致加速器从存储器获取数据时无法实现连续的取数操作，这样会进一步增加访存所带来的延时，因此如图4右侧所示，数据重排模块将数据按照“通道-行-列”的方向顺序进行遍历排列。
通过上述操作，数据重拍模块根据不同的卷积类型对图像数据进行重新排列，大大提高了加速器获取数据时的效率。
在进一步的实施例中，层计算单元还包括：
RELU计算单元，用于对加法器的输出结果使用以下RELU激活函数进行处理：
ReLU(x)＝x>0？x∶0
进一步的，堆叠式沙漏网络结构中存在大量的残差结构，需要将网络中的部分中间结果进行保存，将部分残差结果旁路到网络的后部分进行进一步的操作。这样的残差结构需要加速器对输出结果的地址在不同情况下进行变化。网络中的残差结构如图5左侧所示，如层n-1 的输出结果不仅要为层n提供输入数据，并且还要与层n+1的输出结果进行相加操作。因此层n-1的输出结果需要额外划分一块内存空间进行存放，直到该残差结果不再为后续层的操作需要，内存空间才能够得到释放。因此，在进一步的实施例中，层计算单元的输出结果包括中间结果和残差结果；中间结果用于直接输入到下一层的层计算单元的输入端；残差结果用于旁路至对应的层计算单元的输入端；
进一步的，数据缓存模块包括：
中间结果储存器，用于储存中间结果；
残差结果储存器，用于以压栈结构的形式对残差结果进行储存。
具体实施中，如图5右侧所示，中间结果1和2用于轮流存放正常次序的网络的中间结果(即没有残差结果输出的层)，使用两个内存空间用于存放中间结果是因为每一层的输出结果是下一层的输入结果，因为需要保存该层的输出结果直到下一层操作的数据输入完毕。下端的残差结果1-n是加速器根据需要动态分配的残差结果存放的内存空间。动态分配的方式参考通用处理器中压栈的方式，即当该层的输出结果需要作为残差作另外保存的时候，输出结果保存到当前的残差栈指针所指的位置即以下的一块空间，完成保存后栈指针往下移动到保存数据的末端处；当栈指针上方的残差数据不再需要的时候，栈指针往上移动到上一个残差数据块的末端。完成一次网络的运算后，栈指针应该回到最初的位置，即中间结果保存区的下方。
进一步的，堆叠式沙漏网络中存在上采样操作。如图6所示，以步长为2的上采样操作为例，上采样操作将1×1的输入数据转化为同一个2×2的输出数据块(如图所示，输入的数据“0”经过上采样操作后输出2×2的数据块“0 1 8 9”)，因此上采样操作的输出结果需要占据输入数据的4倍的内存空间，同时将数据搬运出入加速器的时间增加4倍。
为解决上采样操作中数据搬运速度过慢的问题，在进一步的实施例中，加速器的层计算单元还包括：
上采样映射器，用于在层计算单元执行上采样操作时，将输出结果的地址映射至输入数据的地址得到上采样结果。
具体的，所述上采样映射器以行地址拼接列地址的方式表示像素的地址，所述行地址和所述列地址均为二进制地址；
在执行上采样操作时，所述上采样映射器将输出结果的像素地址映射至输入数据的变换像素地址，所述变换像素地址为尾端截去固定位数的所述行地址拼接尾端截去固定位数的所述列地址；具体的，固定位数满足：n＝log2(s)，其中，n为固定位数，s为上采样操作的步长的数值。
具体的，以列数为2的幂的二维数据块为例，如图7所示，数据块的地址可以表示为行地址左移与列地址拼接的形式，该种地址的形式同时适用于上采样前后的数据表达。获取上采样操作后的数据时，等效于将数据地址的行地址部分和列地址部分同时截去最后一位重新拼接得到新的地址(以步长为2为例)，然后将新的地址用于上采样操作前的数据的获取。该方法节省了上采样操作所带来的额外时间，并且节省了存放上采样的中间结果的内存空间。
具体的，以图像大小为16x16的二维数据块为例，某像素的行地址＝(5)10＝(0101)2列地址＝(3)10＝(0011)2那么上采样后的地址应该是{(0101)2,(0011)2}＝(01010011)2，上采样映射器将数据地址的行地址部分和列地址部分同时截去最后一位重新拼接得到新的地址，就是{(010)2(001)2}＝(010001)2，即将输出结果的(01010011)2这一地址的数据映射至输入数据的(010001)这一地址即可得到上采样结果。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，故凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何修改、等同变化与修饰,均仍属于本发明技术方案的范围。

Claims (8)

1.一种适用于堆叠式沙漏网络的深度学习加速器，其特征在于，包括控制模块、数据计算模块和数据缓存模块；
所述控制模块，连接至主控处理器，用于接收所述主控处理器输入的控制信号，根据所述控制信号控制所述数据计算模块和所述数据缓存模块；
所述数据计算模块包括多个层计算单元；所述层计算单元用于执行堆叠式沙漏网络中的数据处理操作；
所述层计算单元包括：
数据调整器，用于根据预设的卷积信息对输入的图像处理数据进行重新排列；所述图像处理数据包括图像数据和权值数据；所述卷积信息包括卷积核大小和步长；
乘法器，用于对重排后的所述图像处理数据按位进行并行的乘法操作；
可配置级数的加法器，用于对所述数据调整器的输出结果和所述乘法器的输出结果执行累加操作；所述数据缓存模块，连接至系统内存，用于获取所述系统内存中的所述图像处理数据并传输至所述数据计算模块，或将所述层计算单元的输出结果进行缓存，或将所述输出结果输入至所述层计算单元进行计算；
所述层计算单元间设置有数据重排模块，用于根据输出端所连接的所述层计算单元的卷积类型对数据进行方向重排；
所述卷积类型包括逐层卷积和逐点卷积；
当所述卷积类型为逐层卷积时，所述数据重排模块将所述数据按照“行-列-通道”的方向顺序进行遍历排列；
当所述卷积类型为逐点卷积时，所述数据重排模块将所述数据按照“通道-行-列”的方向顺序进行遍历排列。
2.根据权利要求1所述的适用于堆叠式沙漏网络的深度学习加速器，其特征在于，
所述数据调整器将所述图像数据以矩阵形式排布，按照所述卷积核大小和步长，将每一步欲进行卷积操作的向量数据依次取出，并按卷积顺序排列得到重排后的图像数据；
所述数据调整器将所述权值数据按次序读取并根据卷积顺序进行复制排列得到重排后的权值数据；
所述数据调整器将所述重排后的图像数据和所述重排后的权值数据并行输入所述乘法器；
所述乘法器将所述图像数据和对应位的所述权值数据进行并行的乘法操作。
3.根据权利要求1所述的适用于堆叠式沙漏网络的深度学习加速器，其特征在于，所述层计算单元还包括：
RELU计算单元，用于对所述加法器的输出结果使用RELU激活函数进行处理。
4.根据权利要求1所述的适用于堆叠式沙漏网络的深度学习加速器，其特征在于，所述层计算单元的输出结果包括中间结果和残差结果；所述中间结果用于直接输入到下一层的所述层计算单元的输入端；所述残差结果用于旁路至对应的层计算单元的输入端；
所述数据缓存模块包括：
中间结果储存器，用于储存所述中间结果；
残差结果储存器，用于以压栈结构的形式对所述残差结果进行储存。
5.根据权利要求1所述的适用于堆叠式沙漏网络的深度学习加速器，其特征在于，所述层计算单元还包括：
上采样映射器，用于在所述层计算单元执行上采样操作时，将输出结果的地址映射至输入数据的地址得到上采样结果。
6.根据权利要求5所述的适用于堆叠式沙漏网络的深度学习加速器，其特征在于，所述上采样映射器以行地址拼接列地址的方式表示像素的地址，所述行地址和所述列地址均为二进制地址；
在执行上采样操作时，所述上采样映射器将输出结果的像素地址映射至输入数据的变换像素地址，所述变换像素地址为尾端截去固定位数的所述行地址拼接尾端截去固定位数的所述列地址。
7.根据权利要求6所述的适用于堆叠式沙漏网络的深度学习加速器，其特征在于，所述固定位数满足：n＝log2(s)
其中，n为所述固定位数，s为所述上采样操作的步长的数值。
8.根据权利要求1所述的适用于堆叠式沙漏网络的深度学习加速器，其特征在于，所述层计算单元的输入为两组256位操作数向量，每组256位的操作数向量代表16个16位的定点操作数。
CN201910150398.XA 2019-02-28 2019-02-28 一种适用于堆叠式沙漏网络的深度学习加速器 Active CN109993293B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910150398.XA CN109993293B (zh) 2019-02-28 2019-02-28 一种适用于堆叠式沙漏网络的深度学习加速器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910150398.XA CN109993293B (zh) 2019-02-28 2019-02-28 一种适用于堆叠式沙漏网络的深度学习加速器

Publications (2)

Publication Number Publication Date
CN109993293A CN109993293A (zh) 2019-07-09
CN109993293B true CN109993293B (zh) 2021-04-13

Family

ID=67129284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910150398.XA Active CN109993293B (zh) 2019-02-28 2019-02-28 一种适用于堆叠式沙漏网络的深度学习加速器

Country Status (1)

Country Link
CN (1) CN109993293B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110619310B (zh) * 2019-09-19 2023-01-20 北京达佳互联信息技术有限公司 一种人体骨骼关键点检测方法、装置、设备及介质
CN111275184B (zh) * 2020-01-15 2022-05-03 中山大学 一种实现神经网络压缩的方法、系统、装置和存储介质
CN112836803A (zh) * 2021-02-04 2021-05-25 珠海亿智电子科技有限公司 一种提高卷积运算效率的数据摆放方法
CN113326837B (zh) * 2021-06-17 2022-11-01 郑州大学 基于深度学习的飞机挂架检测方法以及终端设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915322A (zh) * 2015-06-09 2015-09-16 中国人民解放军国防科学技术大学 一种卷积神经网络硬件加速方法及其axi总线ip核
CN107862650A (zh) * 2017-11-29 2018-03-30 中科亿海微电子科技（苏州）有限公司 加速计算二维图像cnn卷积的方法
CN107992329A (zh) * 2017-07-20 2018-05-04 上海寒武纪信息科技有限公司 一种计算方法及相关产品
CN108805275A (zh) * 2017-06-16 2018-11-13 上海兆芯集成电路有限公司 可编程设备及其操作方法和计算机可用介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915322A (zh) * 2015-06-09 2015-09-16 中国人民解放军国防科学技术大学 一种卷积神经网络硬件加速方法及其axi总线ip核
CN108805275A (zh) * 2017-06-16 2018-11-13 上海兆芯集成电路有限公司 可编程设备及其操作方法和计算机可用介质
CN107992329A (zh) * 2017-07-20 2018-05-04 上海寒武纪信息科技有限公司 一种计算方法及相关产品
CN107862650A (zh) * 2017-11-29 2018-03-30 中科亿海微电子科技（苏州）有限公司 加速计算二维图像cnn卷积的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Stacked Hourglass Networks for Human Pose Estimation;Alejandro Newell 等;《Spring》;20160917;第483-499页 *
利用参数稀疏性的卷积神经网络计算优化及其FPGA加速器设计;刘勤让 等;《电子与信息学报》;20180630;第40卷(第6期);全文 *
基于TVM的多平台卷积神经网络加速方案的设计与实现;许小龙;《中国优秀硕士学位论文全文数据库》;20190115;摘要,第16-41,55-56页 *

Also Published As

Publication number Publication date
CN109993293A (zh) 2019-07-09

Similar Documents

Publication Publication Date Title
CN109993293B (zh) 一种适用于堆叠式沙漏网络的深度学习加速器
CN108765247B (zh) 图像处理方法、装置、存储介质及设备
CN108241890B (zh) 一种可重构神经网络加速方法及架构
US20210224125A1 (en) Operation Accelerator, Processing Method, and Related Device
CN111898733B (zh) 一种深度可分离卷积神经网络加速器架构
CN110222818B (zh) 一种用于卷积神经网络数据存储的多bank行列交织读写方法
WO2022037257A1 (zh) 卷积计算引擎、人工智能芯片以及数据处理方法
CN106846235B (zh) 一种利用NVIDIA Kepler GPU汇编指令加速的卷积优化方法及系统
CN110321997B (zh) 高并行度计算平台、系统及计算实现方法
US20230068450A1 (en) Method and apparatus for processing sparse data
CN113792621B (zh) 一种基于fpga的目标检测加速器设计方法
CN115186802A (zh) 基于卷积神经网络的块稀疏方法、装置及处理单元
WO2022007265A1 (zh) 一种膨胀卷积加速计算方法及装置
CN111047037B (zh) 数据处理方法、装置、设备及存储介质
CN117273099A (zh) 一种可重构阵列下Transformer网络模型数据复用方案与实现方法
WO2023098256A1 (zh) 神经网络运算方法、装置、芯片、电子设备和存储介质
WO2023115814A1 (zh) Fpga硬件架构及其数据处理方法、存储介质
CN116090518A (zh) 基于脉动运算阵列的特征图处理方法、装置以及存储介质
CN113407904B (zh) 兼容多维度卷积神经网络的Winograd处理方法、系统及介质
CN115480919A (zh) 卷积优化运算方法、装置、计算机设备及存储介质
KR102372869B1 (ko) 인공 신경망을 위한 행렬 연산기 및 행렬 연산 방법
CN114330687A (zh) 数据处理方法及装置、神经网络处理装置
CN113627587A (zh) 一种多通道式卷积神经网络加速方法及装置
CN113128688A (zh) 通用型ai并行推理加速结构以及推理设备
Zhang et al. Yolov3-tiny Object Detection SoC Based on FPGA Platform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant