CN108805277A - 基于多fpga的深度信念网络加速平台及其设计方法 - Google Patents

基于多fpga的深度信念网络加速平台及其设计方法 Download PDF

Info

Publication number
CN108805277A
CN108805277A CN201810697986.0A CN201810697986A CN108805277A CN 108805277 A CN108805277 A CN 108805277A CN 201810697986 A CN201810697986 A CN 201810697986A CN 108805277 A CN108805277 A CN 108805277A
Authority
CN
China
Prior art keywords
fpga
hardware
calculating
control
belief network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810697986.0A
Other languages
English (en)
Inventor
李曦
王超
程玉明
赵洋洋
周学海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Institute for Advanced Study USTC
Original Assignee
Suzhou Institute for Advanced Study USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Institute for Advanced Study USTC filed Critical Suzhou Institute for Advanced Study USTC
Priority to CN201810697986.0A priority Critical patent/CN108805277A/zh
Publication of CN108805277A publication Critical patent/CN108805277A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/78—Architectures of general purpose stored program computers comprising a single central processing unit
    • G06F15/7807—System on chip, i.e. computer system on a single chip; System in package, i.e. computer system on one or more chips in a single package
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Neurology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了基于多FPGA的深度信念网络加速平台及其设计方法，通用处理器解析深度信念网络配置信息，将配置信息发送给控制FPGA；控制FPGA负责与通用处理器、其他FPGA通信；控制FPGA将配置信息发送给计算FPGA，用于生成多FPGA加速器；然后通用处理器读入待分类的信息并发送给控制FPGA，控制FPGA读取待分类信息并转发给计算FPGA进行计算。本发明分析深度信念网络特性，确定适用于FPGA平台上运行的并行计算部分；将可并行加速的模块映射到FPGA硬件上，确定软硬件协同计算方式；设计硬件IP核并生成配置信息；将硬件IP核烧写到硬件平台，编写各个硬件设备的驱动；在用户层调用各个硬件IP核，形成硬件加速器。本发明能够充分利用多FPGA的片上资源，使之具备高性能、低功耗等特点。

Description

基于多FPGA的深度信念网络加速平台及其设计方法
技术领域
本发明涉及一种算法的硬件加速平台，具体涉及一种通用性好和灵活性高的基于多FPGA的深度信念网络加速平台及其设计方法。
背景技术
深度学习的概念起源于人工神经网络ANN(Artificial Neuron Network)，是机器学习领域的重要研究和应用部分，主要是通过模拟人类大脑的神经网络机制来解释文本、语音和图像等数据。“深度”指的是深度学习神经网络含有多个网络子层，“学习”是指模拟人类大脑的学习方式，通过不断学习获取新知识或改善自身性能。
深度神经网络由输入层、多层隐层和输出层组成，相邻层的神经元之间是全连接方式，低层的每个神经元均与相邻高层的每个神经元相连，且突触权值私有，各不相同。深度神经网络中输入层的神经元数量根据输入数据的规模而定，中间隐层的神经元数量根据训练结果决定，输出层的神经元个数则由数据需要分类的类别数量而定。神经元之间的突触权值和阈值参数需要通过训练得到。在确定了各网络层的神经元数量和权值、阈值参数后，整个深度神经网络的结构就确定了。深度神经网络是深度学习中最先提出的神经网络。深度神经网络的训练过程分为两步，先是无监督的贪心逐层预训练，从低层次的网络子层开始，每次训练一个单层网络，使该子层中的权值找到接近最优解的值；然后通过wake-sleep调优算法对整个网络进行优化训练，解决了传统的人工神经网络中局部最优、梯度弥散等问题，并大幅度减少了多层神经网络的训练时间。深度神经网络的预测过程是一个由底向上的前馈计算过程。
深度信念网络DBN，也称为深度置信网络，由Geoffrey Hinton于2006 年提出。DBN属于生成性深度结构，不仅可以识别、分类数据，也可以生成数据。经典的深度信念网络由若干层受限玻尔兹曼机RBM(Restricted Boltzmann Machine)和一层误差反向传播层BP(Error Back Propagation)。每层RBM中含有两层神经元，低层为显性神经元，简称显元，用于输入计算数据，高层为隐形神经元，简称隐元，用于特征检测。在每层RBM中，通过显元的输入数据来推断隐元的特征，该层RBM的隐元作为相邻高层RBM 的显元数据，通过多层RBM堆叠构成深度信念网络结构。BP层负责在预训练完成以后，将错误信息自顶向下传播至各层RBM，对整个DBN网络进行微调。根据所应用的领域不同，BP也可以换成其他分类器模型。受限玻尔兹曼机RBM由Smolensky提出，是对玻尔兹曼机BM的优化改进。RBM具有很好的性质，在给定显元的状态后，隐元的激活状态都相互独立；而给定隐元的状态后，显元的激活状态也相互独立，这为计算过程并行化提供了很好的理论基础，可以并行的计算同一层神经元的状态。RBM的广泛研究和应用得益于Hinton于2002年提出的RBM快速学习算法对比散度CD (Constrastive Divergence)。原本的RBM模型中，需要多次采用Gibbs采样来交替对显元和隐元采样，多次采样后，得到服从RBM定义的分布的随机样本。而Hinton提出通常只需要进行1步Gibbs采样即可得到足够的近似样本。对比散度方法中，首先显元状态被设置为训练输入数据，计算隐元被开启的概率，再根据隐元状态重构显元状态，再用重构后的显元计算隐元被激活的概率，然后更新得到相应的突触权值和偏置参数。
深度信念网络的计算过程主要有训练和预测两部分，但由于其具有计算密集性和数据密集性的特点，当面对大规模数据时，往往存在计算资源需求大、计算时间过长、功耗较大等问题。训练过程采用离线方式即可满足一般应用的需求，而预测则需在线进行，对实时性要求更高，因此加速其预测过程更有实践意义和应用市场。深度神经网络预测过程的高性能实现也已成为学术界和工业界的研究热点之一。
硬件加速是指采用硬件实现全部算法或计算密集、控制简单的部分算法，主要是利用了硬件内固有的并行特性。目前常用的硬件加速平台有专用集成电路ASIC、现场可编程逻辑门阵列FPGA和通用图形处理器GPGPU。ASIC 性能最佳，功耗最低，但专用性最强，开发成本较高。GPU内部结构并行性高，灵活性好，但能耗较高，专用型不强。FPGA是ASIC领域中的半定制电路，在极大保留了ASIC高性能、低能耗的前提下，具有可重构的特性，灵活性高，很好的平衡了高性能和高专用性两个特点。基于性能、能耗和开发成本的权衡，本文采用FPGA作为硬件加速器的实现手段。FPGA内部包括输入输出模块IOB(Input OutputBlock)、可配置逻辑模块 CLB(Configurable Logic Block)、可编程布线资源，同时也集成了片上存储器、数字处理模块DSP(Digital Signal Processing)和嵌入式软核或硬核。FPGA 综合了专用计算和通用计算的优势，可以根据应用需求的不同，更改电路布局，生成定制的电路结构，从而实现高性能的并行计算。基于FPGA的硬件加速器一般采用软硬件协同设计的方法，将控制简单、计算密集的计算工作映射到FPGA上完成，而宿主端则主要负责算法的剩余部分，这部分算法往往以控制模块为主，也包含数据的发送与接收工作。
发明内容
针对上述存在的技术问题，本发明目的是：提供了一种基于多FPGA的深度信念网络加速平台能够充分利用FPGA的片上资源，使之具备高性能、低功耗等特点。
本发明的技术方案是：
基于多FPGA的深度信念网络加速平台，包括通用处理器、控制FPGA 和计算FPGA；通用处理器解析深度信念网络配置信息，将配置信息发送给控制FPGA；控制FPGA负责与通用处理器、其他FPGA通信，并承担部分计算工作；控制FPGA将配置信息发送给计算FPGA，用于生成多FPGA加速器并减少计算FPGA与通用处理器之间的通信开销；然后通用处理器读入待分类的信息并发送给控制FPGA，控制FPGA读取待分类信息并转发给计算FPGA进行计算，并把计算结果传回控制FPGA，控制FPGA将分类结果发送给通用处理器。
基于多FPGA的深度信念网络加速平台设计方法，主要步骤如下：
S01：分析深度信念网络特性，得到深度信念网络的热点计算模块和控制模块，确定适用于FPGA平台上运行的并行计算部分；
S02：将可并行加速的模块映射到FPGA硬件上，确定软硬件协同计算方式；
S03：依据FPGA的片上资源情况，设计硬件IP核并生成配置信息；
S04：将硬件IP核烧写到硬件平台，编写各个硬件设备的驱动；
S05：在用户层调用各个硬件IP核，形成硬件加速器。
优选技术方案中，所述步骤S01中热点计算模块主要包括前向计算模块，即矩阵计算以及激励函数计算。
优选技术方案中，所述步骤S02包括以下步骤：
宿主端软件负责控制流和顺序执行部分，产生控制信息；
深度信念网络中的受限玻尔兹曼机RBM层转化为矩阵计算；
采用直接内存读取作为软硬件协同计算的数据通路；
多FPGA加速平台由一个控制FPGA和多个计算FPGA构成，控制FPGA 负责与CPU、计算FPGA传输数据和控制信号，并承担部分计算工作；计算 FPGA负责矩阵计算。
优选技术方案中，所述步骤S03中，由于深度信念网络主要由RBM构成，RBM层主要是矩阵计算，考虑到矩阵计算可以分成内积计算和数乘计算两种形式，在具体实现中，设计了内积计算模块IP和数乘计算模块IP，通过交替使用两个模块，可以实现深度信念网络的流水化计算；激励层IP 核使用分段线性近似的方法实现任意的激励函数；根据不同的FPGA数量以及片上资源，设计了两种划分方案，按层划分DBL和层内划分DIL。
DBL：根据各层的计算任务为每一层分配相应的硬件资源；
DIL：根据各层的计算任务为同一层分配相应的硬件资源。
优选技术方案中，所述步骤S03中，深度信念网络的配置信息包含：
矩阵计算类型；
数据的表示位数；
数据分片大小；
激励函数近似形式。
优选技术方案中，所述步骤S04包括以下步骤：
在驱动的编写中，采用访问Linux字符设备的方式访问各个硬件设备；
在DMA的驱动编写中采用映射机制进行数据填充；
所述映射机制为在内存中预留出一段连续的物理内存，将其映射到内核空间中的一段地址中，然后将该段内核空间地址映射到用户空间。
优选技术方案中，所述步骤S05中，多FPGA加速平台由宿主端控制并调用各个硬件IP核。
与现有技术相比，本发明的优点是：
本发明充分利用了多FPGA的灵活性和通用性，简单易用，对用户透明，能够根据硬件资源和网络拓扑对平台进行调整；根据不同的FPGA数量以及片上资源，设计了两种划分方案，按层划分DBL和层内划分DIL；在具体实现中，设计了内积计算模块IP和数乘计算模块IP，通过交替使用两个模块，可以实现深度信念网络的流水化计算，提高了系统的吞吐量。本发明使得不具备硬件知识的编程者可以利用已有的FPGA资源轻松获得良好的性能和较低的功耗。
附图说明
下面结合附图及实施例对本发明作进一步描述：
图1是本发明实施例的加速系统平台的加速器设计流程图；
图2是本发明实施例的加速系统平台的内积计算设计图；
图3是本发明实施例的加速系统平台的数乘计算设计图；
图4是本发明实施例的加速系统平台的内积计算和数乘计算结合设计图；
图5是本发明实施例的加速系统平台的分段线性近似实现激励层IP核结构设计图；
图6是本发明实施例的加速系统平台的分段线性近似实现sigmod函数结构设计图；
图7是本发明实施例的加速系统平台的系统架构图；
图8是本发明实施例的加速系统平台的数据包结构设计图；
图9是本发明实施例的加速系统平台的按层划分系统设计图；
图10是本发明实施例的加速系统平台的按层划分系统中计算FPGA状态转换图；
图11是本发明实施例的加速系统平台的层内划分系统设计图；
图12是本发明实施例的加速系统平台的层内划分系统中控制FPGA转台转换图；
图13是本发明实施例的加速系统平台的DMA传送数据的流程图。
具体实施方式
以下结合具体实施例对上述方案做进一步说明。应理解，这些实施例是用于说明本发明而不限于限制本发明的范围。实施例中采用的实施条件可以根据具体厂家的条件做进一步调整，未注明的实施条件通常为常规实验中的条件。
实施例：
本发明实施例中的深度神经网络加速平台包括通用处理器、现场可编程门阵列以及存储模块，其中，FPGA和通用处理器之间的数据通路可以采用PCI-E总线协议、AXI总线协议等。本发明实施例附图数据通路采用AXI总线协议为例说明，但本发明并不限于此。
图1是本发明实施例的加速系统平台的加速器设计流程图，包括的步骤如下：
分析深度信念网络特性，得到深度信念网络的热点计算模块和控制模块，确定适用于FPGA平台上运行的并行计算部分；
将可并行加速的模块映射到FPGA硬件上，确定软硬件协同计算方式；
依据FPGA的片上资源情况，设计硬件IP核并生成配置信息；
将硬件IP核烧写到硬件平台，编写各个硬件设备的驱动；
在用户层调用各个硬件IP核，形成硬件加速器。
图2是本发明实施例的加速系统平台的内积计算设计图，矩阵相乘中存在两种不同的计算方式，一种是把计算分解为多组行、列向量的内积，每组内积的结果对应结果矩阵中的一个元素。以矩阵X中第一行行向量x0＝ (x00x01x02…x09)有关的运算为例，首先x0与矩阵W中的列向量w0＝ (w00,w10,w20,…,w90)执行内积运算，得到结果y00＝x00*w00+x01*w10 +x02*x02+…+x09*w90，然后x0依次与列向量w1,,…,w9进行向量内积运算，分别得到y01,y02,…,y09的值，即得到矩阵Y中的第一行行向量 y0＝(y00y01y02…y09)；然后再取矩阵X的第二行行向量x1执行以上操作，得到矩阵Y中的第二行行向量y1＝(y10y11y12…y19)，以此类推。在这种内积为主的矩阵乘法运算方法中，存在两处可并行化处理的计算：一是在行向量与列向量的内积运算中，向量各元素间的乘积不存在数据依赖，可以并行执行；二是同一行向量与不同列向量的内积运算中，各内积运算间不存在数据依赖，也可并行执行。同时，还存在一处可以数据复用之处，即复用同一条行向量，完成与不同列向量的内积运算。
内积计算代码如下：
图3是本发明实施例的加速系统平台的数乘计算设计图，矩阵相乘的另一种计算方式是指，把计算分解为多组数字与行向量间的数乘运算，每组数乘的结果对应结果矩阵中一个行向量的中间值，然后将对应的中间值执行向量加法操作，得到最终结果矩阵。仍以矩阵X中第一行行向量x0＝ (x00x01x02…x09)相关计算为例，首先x0中元素x00与矩阵W的行向量w0＝ (w00w01w02…w09)执行数乘运算，得到临时行向量y0＝ (x00*w00,x00*w01,x00*w02,…,x00*w09)；然后x0中的元素x01与矩阵W的行向量w1＝(w10w11w12…w19)执行数乘运算，得到另一个临时行向量y1＝ (x01*w10,x01*w11,x01*w12,…,x09*w19)；然后x02,x03,…,x09分别于矩阵 W的行向量w2,w3,…,w9执行数乘运算，分别得到临时行向量y2,y3,…,y9；将所有临时行变量两两执行向量加法，得到矩阵Y中的第一行行向量y0；接下来，再取矩阵X的第二行行向量x1，将x1中的元素分别与矩阵W中对应的行向量进行数乘运算，再将得到的临时行向量相加，得到矩阵Y中的第二行行向量y1，以此类推。在这种以数乘为主的矩阵乘法运算方法中，存在两处可并行化处理的计算：一是在某元素与行向量的数乘中，该元素与行向量中各元素的相乘不存在数据依赖，但存储读取冲突，如果可以实现对元素的多端口读取，则各元素间的乘法可以并行执行；二是不同元素与不同行向量的数乘中，不存在数据依赖，可以并行执行。
数乘计算代码如下：
图4是本发明实施例的加速系统平台的内积计算和数乘计算结合设计图，在以向量内积为主的矩阵相乘中，每次执行向量内积运算均需要被乘矩阵的一个行向量与乘矩阵的一个列向量；而在以向量数乘为主的矩阵相乘中，每次向量数乘运算需要被乘矩阵的一个元素与乘矩阵的一个行向量。因此，如果第一层矩阵相乘中采用以向量内积为主的计算方式，第二层矩阵相乘中采用以向量数乘为主的计算方式，则两层的矩阵乘法可以实现最大程度的计算重叠。
将两种矩阵计算方式结合后的代码如下：
图5是本发明实施例的加速系统平台的分段线性近似实现激励层IP核结构设计图，本发明实例采用分段线性近似来实现S型激励函数，将函数按X轴划分为若干等值间隔，每个间隔内按Y＝ai*X+bi,X∈[xi,xi+1)进行线性近似，其中xi+1-xi为近似的间隔大小。
每当需要计算激励函数时，首先按照X值寻找其所在的区间并计算其对应的ai和bi相对于基地址的偏移量，进行乘加运算后，即可近似得到Y值。
这种实现方式有两点好处：
1)、可实现任意的S型激励函数或线性函数，而且无需更改任何硬件设计，仅需要更换系数a和系数b所存储的数值即可；
2)、误差极小，当近似区间降低时，误差可以达到可以忽略，而代价仅仅是增加用于存储系数a和系数b的BRAM。而且深度学习计算本身对数据的精确度的要求并不是很高或者说一定程度的精度损失并不影响数据结果。
图6是本发明实施例的加速系统平台的分段线性近似实现sigmod函数结构设计图，与图5不同的是，增加了一条X直接传输到Y的通路，让运算单元可以仅仅执行卷积操作而不经过激励函数的处理。
由于S型激励函数基本上是关于某点对称，以sigmoid函数为例，sigmoid函数关于(0,0.5)对称，所以当x小于0时，按照1-f(-x)进行计算，这样可以复用硬件逻辑，减少对硬件资源的使用。而且当x等于8时，f(x)等于0.999665，之后便无限接近于1，故当x大于8时，直接对结果赋值为1。
分段线性函数误差如下：
图7是本发明实施例的加速系统平台的系统架构图，该系统结构包括：
Buffer：数据缓冲区；
Input FIFO：输入数据缓冲区；
Output FIFO：输出数据缓冲区；
Weight FIFO：权值数据缓冲区；
Control Unit:控制单元，负责宿主端和其他PE之间通信，数据传输；
AXI interconcect
AXI-Stream:允许无限制的数据突发传输，为高性能数据传输协议；
AXI-Lite：一种轻量级的地址映射单次传输协议，适用于硬件运算单元的控制信号
传输；
Memory Interconnect:数据通路互联；
DMA:直接内存存取，负责加速器和内存间的数据传输；
Control Interconnect:控制信号线路互联；
DDR：存储模块，存储数据；
PE:乘法计算单元，负责矩阵计算。
图8是本发明实施例的加速系统平台的数据包结构设计图，多FPGA系统中，FPGA间通过数据包互相发送控制信息和数据信息。数据包分为首部和数据两部分，首部在前，占数据包的前8个字节，数据部分在后。下面详细介绍数据包首部的各字段。
操作指令，4位，是数据包中的控制字段，指示该数据包的类型和所对应的操作类型。0x0表示采用按层划分并执行相应计算过程；0x1表示计算轮空；0x2表示采用层内划分并执行相应计算过程；0x3表示数据写回；0x4表示该数据包内的数据为显元数据，不做任何计算操作。其中0x0和0x1只适用于按层划分方案，0x2只适用于层内划分方案， 0x3和0x4两种划分方案均适用。
数据包大小，16位，表示该数据包的大小，即首部和数据大小之和，可表示的最大十进制数值为65535，该字段所表示数的单位是字节，所以数据包最大为65535字节，首部固定占8个字节，因此数据包最多可载65527字节数据。
源地址和目的地址，各占4位，表示该数据包的源地址和目的地址。
网络层号，4位，表示该数据包中的数据对应第几层RBM的数据，从1开始计数， 0x0为无效值。
数据偏移地址，32位，表示该数据包中的数据在该网络层计算的起始偏移位置，并以字节为偏移单位。该字段常与网络层号一起用于数据对齐，保证计算准确性和FPGA间的同步计算。
图9是本发明实施例的加速系统平台的按层划分系统设计图，按层划分是指将多层神经网络的计算按层分布到各个计算FPGA上，每片FPGA分别负责某一层神经网络的预测计算。为使FPGA间的计算过程尽可能重叠，借鉴单FPGA加速系统中双层流水计算的方法，指定负责奇数层RBM计算的FPGA(以下简称奇FPGA)，以向量内积形式完成矩阵计算，负责偶数层RBM计算的FPGA(以下简称偶FPGA)以向量数乘形式完成矩阵计算。一旦奇FPGA得到第一个隐元的状态后，相邻的偶FPGA结点即可读入该神经元状态作为显元输入，开始该偶数层RBM的计算，实现两片FPGA在单任务下的流水计算。该方法仅能实现两片FPGA间的单任务流水计算，若将相邻奇FPGA与偶FPGA作为一组计算，则FPGA 组之间完成单任务计算时仍以串行方式执行。
奇FPGA的计算以向量内积为主。并行计算同样采用多乘法器-加法树结构，通过多缓冲区掩盖数据通信的时间开销，并同样支持分片计算。
偶FPGA中的计算以向量数乘为主。并行计算同样采用多乘法器-多加法器结构，通过多缓冲区掩盖数据通信时间开销，并采用冗余存储消除向量加法中的数据依赖，同样支持分片计算。
图10是本发明实施例的加速系统平台的按层划分系统中计算FPGA状态转换图，在每个计算FPGA片内，均嵌入同步单元保证计算结果的准确性。奇FPGA和偶FPGA虽然计算方式不同，但整体计算流程一致，所以采用同一状态机控制整体计算流程。本发明采用有限状态机解决计算FPGA之间计算时序的同步问题。计算FPGA起始状态为空闲状态，并轮询输入FIFO是否为空，如果输入FIFO为空，则保持空闲态，如果输入FIFO不空，即上级结点传入新数据，则跳至读数据态；在读数据态，FPGA读取输入FIFO中的数据包，并读取首部中的相关信息，校验源地址、目地址是否正确，并结合网络层号和数据偏移两个字段，与本地的计算阶段信息对比校验，如信息有误，则跳回空闲状态，继续等待新数据，如首部信息无误，跳入计算状态；在计算态，FPGA完成与读入数据相关的所有操作，计算完毕后，转入写数据状态；在写数据态，FPGA将计算结果写入下级结点的输出FIFO中，更新本地的相关计算标志信息，并判断输入FIFO是否为空，如果为空，则转入空闲状态，如果FIFO不空，则转入读数据状态。由于控制FPGA只负责数据传递，没有计算任务，相对简单，所以没有设计状态机。
图11是本发明实施例的加速系统平台的层内划分系统设计图，层内划分是指将每层RBM的计算均匀分布在多片FPGA上，由多片计算FPGA并行完成同一RBM层的计算。本方案中采用单指令流多数据流SIMD计算方式，控制FPGA将输入的显元数据划分成若干数据块，分发给不同的计算FPGA，每片计算FPGA负责某层RBM的部分计算，分别对接收到的不同显元数据块完成相同的计算操作，由于每片计算FPGA只负责一部分RBM的计算，所以只能得到RBM层的部分计算结果，计算FPGA将结果传回至控制FPGA，再由控制 FPGA将计算FPGA的局部结果进行整合，得到该层RBM完整的计算结果，并将结果作为下一层RBM的显元数据，分别发送给计算FPGA。该方案中控制FPGA与每片计算FPGA间均有数据通信，且不仅负责将CPU传入的数据分发给各个计算FPGA，和将计算FPGA的结果回收，还承担了部分计算任务，即负责对局部结果的整合计算。
DIL加速系统中，计算FPGA内的计算方式相同，均为向量内积运算和激励函数计算，与DBL系统中奇FPGA的IP核设计一致，此处不再赘述。
控制FPGA片内IP核的设计较为简单，主要通过并行加法树完成对各个矩阵块的累加运算。控制FPGA每次并行读取F片计算FPGA中的局部结果向量，根据元素在向量中的偏移位置将向量元素分成多个数据组，每个数据组内包含来自F片不同FPGA的同一位置的元素值，并行对每个数据组内的F个元素通过深度为log2F的加法树两两相加，得到该位置的最终结果值。
图12是本发明实施例的加速系统平台的层内划分系统中控制FPGA转台转换图，DIL加速系统中计算FPGA和控制FPGA内同样有同步单元负责同步计算。计算 FPGA内的有限状态机设计与按层划分方案中计算FPGA的状态机设计一致，此处不再赘述。控制FPGA扮演CPU与计算FPGA间的通信和控制中介，状态相对较多。控制FPGA初始状态为空闲状态，并不断轮询与CPU相连的数据FIFO是否为空，等待CPU端传入样本数据，如果该FIFO为空，则保持在空闲态，如果FIFO不为空，则跳入数据分发态；在数据分发态，控制FPGA将CPU传入的样本数据分块处理，并封装为数据包，将各个数据包发送至对应计算FPGA的数据FIFO中，跳入等待结果状态；在等待结果态，控制FPGA不断轮询与计算FPGA相连的F个结果FIFO，等待计算FPGA计算完成，如果FIFO为空，则保持在本状态，如果FIFO不为空，则跳入校验状态；在校验态，控制FPGA读取计算FPGA返回的结果数据包，并校验数据包的首部，如果首部有误，则跳回等待结果态，如果首部正确，跳入结果整合态；在结果整合态，控制FPGA将接收到的局部结果进行累加操作，得到最终的输出结果，并跳入结果写回态；在结果写回态，控制FPGA将最终计算结果写入与CPU相连的结果FIFO中，并判断CPU数据FIFO是否为空，如果为空，则跳入空闲态，如果不为空，则跳入数据分发态。
图13是本发明实施例的加速系统平台的DMA传送数据的流程图，首先在DMA驱动中利用Kmalloc函数分配一段连续的物理内存，并给出其对应的内核空间的逻辑地址；其次在用户执行应用程序时，将所需要的数据从用户进程空间读取出来并写入到Kmalloc分配的连续物理内存对应的内核空间地址中，写入完毕后数据就实现了在物理地址中的连续存储，最后DMA从连续的物理地址空间中读取数据传送到IP Core，IP Core读取数据进行计算。这就是DMA将数据从用户态传送到IP Core内部的整个流程。IP Core计算后的结果先通过DMA传送到物理地址连续的内存中，然后再从内核空间中将数据传送到用户进程的地址空间中。从图可以看出，完成一次计算需要两次的数据拷贝，而数据拷贝的速度是很慢的，无疑这会降低加速器的性能，为此本发明采用了映射的方式来减少整个数据传送过程中的数据拷贝次数。
上述实例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人是能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。

Claims (9)

1.基于多FPGA的深度信念网络加速平台，其特征在于：包括通用处理器、控制FPGA和计算FPGA；通用处理器解析深度信念网络配置信息，将配置信息发送给控制FPGA；控制FPGA负责与通用处理器、其他FPGA通信，并承担部分计算工作；控制FPGA将配置信息发送给计算FPGA，用于生成多FPGA加速器并减少计算FPGA与通用处理器之间的通信开销；然后通用处理器读入待分类的信息并发送给控制FPGA，控制FPGA读取待分类信息并转发给计算FPGA进行计算，并把计算结果传回控制FPGA，控制FPGA将分类结果发送给通用处理器。
2.根据权利要求1所述的基于多FPGA的深度信念网络加速平台，其特征在于：深度信念网络由RBM构成。
3.基于多FPGA的深度信念网络加速平台设计方法，包括步骤：
S01：分析深度信念网络特性，得到深度信念网络的热点计算模块和控制模块，确定适用于FPGA平台上运行的并行计算部分；
S02：将可并行加速的模块映射到FPGA硬件上，确定软硬件协同计算方式；
S03：依据FPGA的片上资源情况，设计硬件IP核并生成配置信息；
S04：将硬件IP核烧写到硬件平台，编写各个硬件设备的驱动；
S05：在用户层调用各个硬件IP核，形成硬件加速器。
4.根据权利要求3所述的基于多FPGA的深度信念网络加速平台设计方法，其特征在于，所述步骤S01中热点计算模块包括前向计算模块，即矩阵计算以及激励函数计算。
5.根据权利要求4所述的基于多FPGA的深度信念网络加速平台设计方法，其特征在于，所述步骤S02包括以下步骤：
宿主端软件负责控制流和顺序执行部分，产生控制信息；
深度信念网络中的RBM层转化为矩阵计算，分成内积计算和数乘计算两种矩阵计算方式；
采用直接内存读取作为软硬件协同计算的数据通路；
多FPGA加速平台由一个控制FPGA和多个计算FPGA构成，控制FPGA负责与CPU、计算FPGA传输数据和控制信号，并承担部分计算工作；计算FPGA负责矩阵计算。
6.根据权利要求5所述的基于多FPGA的深度信念网络加速平台设计方法，其特征在于，所述步骤S03中，由于深度信念网络由RBM构成，RBM层进行矩阵计算，考虑到矩阵计算可以分成内积计算和数乘计算两种形式，设计了内积计算模块IP和数乘计算模块IP，通过交替使用两个模块，实现深度信念网络的流水化计算；激励层IP核使用分段线性近似的方法实现任意的激励函数；根据不同的FPGA数量以及片上资源，设计两种划分方案，按层划分DBL和层内划分DIL；
DBL：根据各层的计算任务为每一层分配相应的硬件资源；
DIL：根据各层的计算任务为同一层分配相应的硬件资源。
7.根据权利要求6所述的基于多FPGA的深度信念网络加速平台设计方法，其特征在于，所述步骤S03中，深度信念网络的配置信息包含：
矩阵计算类型；
数据的表示位数；
数据分片大小；
激励函数近似形式。
8.根据权利要求7所述的基于FPGA的深度神经网络加速平台设计方法，其特征在于，所述步骤S04包括以下步骤：
在驱动的编写中，采用访问Linux字符设备的方式访问各个硬件设备；
在DMA的驱动编写中采用映射机制进行数据填充；
所述映射机制为在内存中预留出一段连续的物理内存，将其映射到内核空间中的一段地址中，然后将该段内核空间地址映射到用户空间。
9.根据权利要求8所述的基于FPGA的深度神经网络加速平台设计方法，其特征在于，所述步骤S05中，多FPGA加速平台由宿主端控制并调用各个硬件IP核。
CN201810697986.0A 2018-06-29 2018-06-29 基于多fpga的深度信念网络加速平台及其设计方法 Pending CN108805277A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810697986.0A CN108805277A (zh) 2018-06-29 2018-06-29 基于多fpga的深度信念网络加速平台及其设计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810697986.0A CN108805277A (zh) 2018-06-29 2018-06-29 基于多fpga的深度信念网络加速平台及其设计方法

Publications (1)

Publication Number Publication Date
CN108805277A true CN108805277A (zh) 2018-11-13

Family

ID=64073284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810697986.0A Pending CN108805277A (zh) 2018-06-29 2018-06-29 基于多fpga的深度信念网络加速平台及其设计方法

Country Status (1)

Country Link
CN (1) CN108805277A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948785A (zh) * 2019-01-31 2019-06-28 福州瑞芯微电子股份有限公司 一种高效的神经网络电路架构和方法
CN111241030A (zh) * 2020-01-05 2020-06-05 何金荣 虹膜信息处理方法、设备及存储介质
CN112734011A (zh) * 2021-01-04 2021-04-30 北京大学 一种基于增量综合的深度神经网络加速器协同设计方法
CN113449479A (zh) * 2021-06-30 2021-09-28 福州大学 一种考虑总线时序匹配的层分配方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050278680A1 (en) * 2004-06-15 2005-12-15 University Of North Carolina At Charlotte Methodology for scheduling, partitioning and mapping computational tasks onto scalable, high performance, hybrid FPGA networks
CN104657330A (zh) * 2015-03-05 2015-05-27 浪潮电子信息产业股份有限公司 一种基于x86架构处理器和FPGA的高性能异构计算平台
CN104778148A (zh) * 2015-04-03 2015-07-15 哈尔滨工业大学 基于fpga的动态可重构嵌入式数据协处理平台及采用该平台实现的数据处理方法
CN106228238A (zh) * 2016-07-27 2016-12-14 中国科学技术大学苏州研究院 现场可编程门阵列平台上加速深度学习算法的方法和系统
CN108090560A (zh) * 2018-01-05 2018-05-29 中国科学技术大学苏州研究院 基于fpga的lstm递归神经网络硬件加速器的设计方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050278680A1 (en) * 2004-06-15 2005-12-15 University Of North Carolina At Charlotte Methodology for scheduling, partitioning and mapping computational tasks onto scalable, high performance, hybrid FPGA networks
CN104657330A (zh) * 2015-03-05 2015-05-27 浪潮电子信息产业股份有限公司 一种基于x86架构处理器和FPGA的高性能异构计算平台
CN104778148A (zh) * 2015-04-03 2015-07-15 哈尔滨工业大学 基于fpga的动态可重构嵌入式数据协处理平台及采用该平台实现的数据处理方法
CN106228238A (zh) * 2016-07-27 2016-12-14 中国科学技术大学苏州研究院 现场可编程门阵列平台上加速深度学习算法的方法和系统
CN108090560A (zh) * 2018-01-05 2018-05-29 中国科学技术大学苏州研究院 基于fpga的lstm递归神经网络硬件加速器的设计方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948785A (zh) * 2019-01-31 2019-06-28 福州瑞芯微电子股份有限公司 一种高效的神经网络电路架构和方法
CN111241030A (zh) * 2020-01-05 2020-06-05 何金荣 虹膜信息处理方法、设备及存储介质
CN112734011A (zh) * 2021-01-04 2021-04-30 北京大学 一种基于增量综合的深度神经网络加速器协同设计方法
CN112734011B (zh) * 2021-01-04 2021-12-28 北京大学 一种基于增量综合的深度神经网络加速器协同设计方法
CN113449479A (zh) * 2021-06-30 2021-09-28 福州大学 一种考虑总线时序匹配的层分配方法
CN113449479B (zh) * 2021-06-30 2022-05-10 福州大学 一种考虑总线时序匹配的层分配方法

Similar Documents

Publication Publication Date Title
Fowers et al. A configurable cloud-scale DNN processor for real-time AI
US20240118892A1 (en) Apparatuses, methods, and systems for neural networks
CN112465108B (zh) 一种面向存算一体平台的神经网络编译方法
Rahman et al. Graphpulse: An event-driven hardware accelerator for asynchronous graph processing
US11106976B2 (en) Neural network output layer for machine learning
US20220012575A1 (en) Methods and apparatus for localized processing within multicore neural networks
CN108805277A (zh) 基于多fpga的深度信念网络加速平台及其设计方法
US11366998B2 (en) Neuromorphic accelerator multitasking
CN108268424A (zh) 用于处理具有偏斜非零分布的稀疏矩阵数据的异构硬件加速器架构
US20190130270A1 (en) Tensor manipulation within a reconfigurable fabric using pointers
US20190279038A1 (en) Data flow graph node parallel update for machine learning
CN111630502A (zh) 用于神经网络处理器的统一存储器组织
Chen et al. On-the-fly parallel data shuffling for graph processing on OpenCL-based FPGAs
US20190130268A1 (en) Tensor radix point calculation in a neural network
US11481472B2 (en) Integer matrix multiplication engine using pipelining
CN103870335B (zh) 用于信号流编程的数字信号处理器代码的高效资源管理的系统和方法
US20210011849A1 (en) Processor cluster address generation
US20190042918A1 (en) Remote usage of machine learned layers by a second machine learning construct
CN106528171B (zh) 一种异构计算平台子系统间的接口设计方法、装置及系统
US10997102B2 (en) Multidimensional address generation for direct memory access
CN114356840A (zh) 具有存内/近存计算模块的SoC系统
Lee et al. Task parallelism-aware deep neural network scheduling on multiple hybrid memory cube-based processing-in-memory
US20190130276A1 (en) Tensor manipulation within a neural network
Zhang et al. Graphagile: An fpga-based overlay accelerator for low-latency gnn inference
CN116348885A (zh) 用于可部署推理系统的存储器映射的神经网络加速器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181113

RJ01 Rejection of invention patent application after publication