CN112905526A - 一种多种类型卷积的fpga实现方法 - Google Patents

一种多种类型卷积的fpga实现方法 Download PDF

Info

Publication number
CN112905526A
CN112905526A CN202110081004.7A CN202110081004A CN112905526A CN 112905526 A CN112905526 A CN 112905526A CN 202110081004 A CN202110081004 A CN 202110081004A CN 112905526 A CN112905526 A CN 112905526A
Authority
CN
China
Prior art keywords
convolution
fpga
convolutions
input
processing engine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110081004.7A
Other languages
English (en)
Other versions
CN112905526B (zh
Inventor
陈禾
张宁
魏鑫
刘文超
龙腾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202110081004.7A priority Critical patent/CN112905526B/zh
Publication of CN112905526A publication Critical patent/CN112905526A/zh
Application granted granted Critical
Publication of CN112905526B publication Critical patent/CN112905526B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/78—Architectures of general purpose stored program computers comprising a single central processing unit
    • G06F15/7807—System on chip, i.e. computer system on a single chip; System in package, i.e. computer system on one or more chips in a single package
    • G06F15/7817—Specially adapted for signal processing, e.g. Harvard architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computer Hardware Design (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Neurology (AREA)
  • Complex Calculations (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种多种类型卷积的FPGA实现方法，能够利用统一的硬件架构将多种类型的卷积部署在FPGA上进行实现，不需要针对不同的卷积类型分别设计硬件实现架构，节省了大量的硬件资源。通过分析多种类型卷积的特点将它们转换为同一种基准卷积类型使用统一的处理引擎进行实现。相比于分别在FPGA上实现这些卷积，节省了大量的硬件资源。通过优化基准卷积的运算流程，并根据其余卷积的特征分别将其转换为基准卷积进行运算。从而利用统一的硬件架构在FPGA上进行实现。提高了实现的灵活性，降低了硬件资源的开销，有效避免了传统FPGA实现方法中需要为各类型卷积分别设计实现架构所造成的资源消耗大，结构不灵活的问题。

Description

一种多种类型卷积的FPGA实现方法
技术领域
本发明属于图像检测识别技术领域，尤其涉及一种多种类型卷积的FPGA实现方法。
背景技术
近五年来，深度神经网络在智能图像处理领域取得了突破性进展，具有广泛的应用场景。深度卷积神经网络中存在大量的网络权重参数与计算，因此目前多数深度神经网络算法部署在CPU或GPU等高性能设备上。但是CPU、GPU的高性能需要大量的功耗支持，因此在一些功耗严格受限的应用场景中难以应用。高性能、低功耗嵌入式硬件设备为解决这一问题提供了全新的解决思路，因此基于嵌入式设备构建深度神经网络实现平台日益成为工程应用中的研究热点，基于FPGA设计深度神经网络硬件加速器是其中最为广泛的解决方案。但是在一些应用场景中，对于图像特征提取、检测识别的性能要求不断提升，所用到的深度神经网络结构越来越复杂，网络中所涉及到的卷积类型也由起初的单一类型变得更加丰富，需要为各类型卷积分别设计实现架构，但是FPGA片内逻辑与存储资源有限，难以满足为各类型卷积单独设计实现结构，使得在FPGA上实现该类包含多类型卷积的深度神经网络存在一定的技术难点。
发明内容
有鉴于此，本发明提供了一种多种类型卷积的FPGA实现方法，能够利用统一的硬件架构将多种类型的卷积部署在FPGA上进行实现，不需要针对不同的卷积类型分别设计硬件实现架构，节省了大量的硬件资源。
为实现上述目的，本发明的技术方案如下：
本发明提供了一种多种类型卷积的FPGA实现方法，包括如下步骤：
步骤一、根据所要实现的多种类型卷积的深度卷积神经网络，选取其中一种常见且具有代表性的卷积作为基准类型卷积，并采用原始循环计算过程对其进行硬件部署，使其能够在FPGA上运行；所述原始循环计算过程中，先进行行处理再进行通道处理；
步骤二、面向所述基准类型卷积设计处理引擎的结构，得到的处理引擎能够部署在FPGA上用于实现基准卷积；
步骤三、设计输入数据控制模块，用于为步骤二得到的处理引擎提供正确的输入数据；
输入数据控制模块搭配处理引擎，将基准类型卷积成功部署在FPGA中；
其中，所述输入数据控制模块包括N个BRAM，设计为乒乓缓冲区，N为基准类型卷积尺寸行数加1；
Ping缓冲区和Pang缓冲区的Bram是有序的，不能颠倒；
当需要对输入特征图进行零填充时，不需要进行额外的存储，选择零作为输出来实现填充操作；
步骤四、针对所要实现的多种类型卷积的深度卷积神经网络中，所包含的除基准类型卷积之外的其余类型卷积，制定转换方法，将其余类型卷积转换为基准类型卷积，然后应用统一的处理引擎在FPGA上进行实现，完成多种类型卷积的FPGA实现。
其中，所要实现的多种类型卷积的深度卷积神经网络包含的卷积类型有：3×3普通卷积，1×1普通卷积，步长为1、膨胀率为2的3×3空洞卷积以及步长为2、膨胀率为2的3×3空洞卷积。
其中，对于1×1卷积，通过零填充将卷积核的大小从1×1转换为基准类型卷积尺寸，与之对应的是需要将附加的零填充添加到输入要素图以获得正确的输出要素图；
在FPGA上实现时，在为处理引擎提供输入图像数据和权重参数时，通过添加0的操作，在读出输入图像数据和权重时在需要读出0的位置将读出使能信号置为无效，并把此时的数据设为0。
其中，对于步长为1膨胀率为2的3×3空洞卷积，在存储输入特征图时，将相邻的两行存储在同一块Bram中，在取数据时，按照同样的地址，分别在Bram中取出输入特征图的奇数行特征值；同理分别取出偶数行特征值；其中，通过设置锯齿形读取使能信号，将奇数列和偶数列的输入数据分别读出；在读取输入要素地图时，将输入特征图根据奇数行、偶数行、奇数列和偶数列进行分组。
其中，对于步长为2膨胀率为2的3×3空洞卷积，在往输入数据控制模块中存储输入特征图时，仅存储奇数行的特征图；在读取时通过设置锯齿形读取使能信号，仅将奇数列的输入数据读出提供给处理引擎用于参与卷积运算。
其中，所述步骤二中，利用乘法运算单元和加法运算单元搭建卷积处理引擎，用于在FPGA上完成卷积运算。
有益效果：
本发明提供一种多种类型卷积的FPGA实现方法，不需要针对不同的卷积类型分别设计硬件实现架构，而是通过分析多种类型卷积的特点将它们转换为同一种基准卷积类型使用统一的处理引擎进行实现。相比于分别在FPGA上实现这些卷积，节省了大量的硬件资源。通过优化基准卷积的运算流程，并根据其余卷积的特征分别将其转换为基准卷积进行运算。从而利用统一的硬件架构在FPGA上进行实现。提高了实现的灵活性，降低了硬件资源的开销，有效避免了传统FPGA实现方法中需要为各类型卷积分别设计实现架构所造成的资源消耗大，结构不灵活的问题。
利用本发明中提出的多种类型卷积的FPGA实现方法构建嵌入式图像处理系统可应用于多个智能化图像处理领域，如自动驾驶、手机图像处理和遥感图像处理等，能够大幅提升计算效率，降低功耗开销与设计成本。
附图说明
图1为本发明实施例的多种类型卷积的FPGA实现方法的流程图；
图2为本发明实施例中对基准卷积的计算过程进行优化后的运算流程示意图；
图3为本发明实施例中提供的卷积处理引擎的结构示意图；
图4为本发明实施例中提供的输入数据控制模块结构示意图与存储方式示意图；
图5为本发明实施例中提供的1×1卷积转换为基准卷积的转化策略的示意图；
图6为本发明实施例中提供的步长为1、膨胀率为2的3×3空洞卷积的输入数据存储方式和读取策略示意图；
图7为本发明实施例中提供的步长为1、膨胀率为2的3×3空洞卷积转换为基准卷积的转化策略的示意图；
图8为本发明实施例中提供的步长为2、膨胀率为2的3×3空洞卷积转换为基准卷积的转化策略的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
本发明提供了一种多种类型卷积的FPGA实现方法，应用于深度卷积神经网络，其中，深度卷积神经网络包括多个卷积层，且各卷积层的卷积类型有所不同。本发明所述的多种类型卷积的深度卷积神经网络在YOLOv2网络的基础上，去掉了Passthrough操作，引入了步长为1、膨胀率为2的3×3空洞卷积以及步长为2、膨胀率为2的3×3空洞卷积，从而提升网络对于多尺寸目标的检测性能。改进后的网络中所包含的卷积类型有：3×3普通卷积，1×1普通卷积，步长为1、膨胀率为2的3×3空洞卷积以及步长为2、膨胀率为2的3×3空洞卷积。
本实施例以步长为1的1×1卷积、步长为1膨胀率为2的3×3空洞卷积、步长为2膨胀率为2的3×3空洞卷积这三种卷积类型对一种多种类型卷积的FPGA实现方法进行详细说明。本实施例提供的多种类型卷积的FPGA实现方法的流程图如图1所示，包括以下步骤：
步骤一、根据所要实现的多种类型卷积的深度卷积神经网络，选取其中一种常见且具有代表性的卷积作为基准类型卷积，并采用原始循环计算过程对其进行硬件部署，使其能够在FPGA上高效运行；所述原始循环计算过程中，先进行行处理再进行通道处理；
具体地，根据所要实现的深度卷积神经网络中所包含的卷积类型，选取一种出现频率最高的常见卷积类型作为基准卷积类型。对于绝大多数的网络来说，可以选取3×3的普通卷积作为基准卷积类型。为了在FPGA上高效地完成基础卷积的运算，需要对卷积的原始循环计算进行优化。需要说明的是，在深度卷积神经网络中如果包含尺寸大于3×3的卷积类型，需要选择尺寸更大的卷积类型作为基准卷积类型。
本发明实施例中对基准卷积的计算过程进行优化后的运算流程示意图如图2所示，卷积的执行表现出许多并行性，由于FPGA硬件的限制，不可能完全利用所有并行模式。标准卷积层包含N个卷积滤波器，每个卷积滤波器由M个通道K×K内核组成。对于3×3的普通卷积来说K＝3。计算时，K×K矩形窗口沿输入要素图的宽度滑动，这称为行处理。提取的像素需要使用N个相应内核进行计算。同时计算n个内核的运算，直到获得N个中间结果。通过计算生成的N个中间结果存储在累积缓冲区中。这些内核将重新用于后续的行处理，直到矩形窗口移至通道的末尾。在行处理中，获得N×Hout中间结果。然后，矩形窗口移向后续通道，并重复上述行处理。对于每一行处理，将过滤器中的相应内核取出以进行卷积。遍历所有通道需要M行处理，这称为通道处理。之后，矩形窗口向下移动一行，并重复上述通道处理。重复次数为Hin+2×pad–K+1，其中pad是输入图像两侧的零填充量。因此，要处理整个输入特征图，应将滤波器的权重读取为Hin+2×pad-K+1倍。为了避免性能下降，通过权重预取来隐藏行处理中的等待时间，行处理产生的中间结果将在下一个行处理中累积。
步骤二、面向所述基准类型卷积设计处理引擎的结构，得到的处理引擎能够部署在FPGA上用于高效地实现基准卷积；
具体地，本发明实施例中提供的卷积处理引擎的结构示意图如图3所示，利用乘法运算单元和加法运算单元搭建卷积处理引擎，用于在FPGA上完成卷积运算。当基准卷积类型为3×3卷积，选取9个乘法器和9个加法器进行搭建，其中9个加法器逐级构成一个4级的加法树，加法树的最后一级输出会根据是否得到卷积运算的最终结果进行输出或叠加的路径选择。
步骤三、设计输入数据控制模块，用于为步骤二得到的处理引擎提供正确的输入数据；
输入数据控制模块搭配处理引擎，将基准类型卷积成功部署在FPGA中。
本发明实施例中提供的输入数据控制模块结构示意图与存储方式示意图如图4所示，具体地，设计输入数据控制模块，为处理引擎提供正确的输入数据进行运算，从而将卷积成功部署在FPGA上。该模块主要由四个BRAM组成。四个BRAM分别存储所有通道的四行。此模块设计为乒乓缓冲区。例如，在计算开始时，输入要素地图的前三行存储在Bram_1，Bram_2和Bram_3中以进行计算。同时，输入要素图的第四行被写入Bram_4。此时，Bram_1，Bram_2和Bram_3为Ping缓冲区；Bram_2，Bram_3和Bram_4是Pong缓冲区。当前三行的计算完成后，要素图的第五行被写入Bram_1。此时，Bram_2，Bram_3和Bram_4为Ping缓冲区；Bram_3，Bram_4和Bram_1是Pong缓冲区。
值得注意的是，Ping缓冲区和Pang缓冲区的Bram是有序的，不能颠倒。此外，当需要对输入特征图进行零填充时，不需要进行额外的存储，在适当位置选择零作为输出来实现填充操作。
步骤四、针对所要实现的多种类型卷积的深度卷积神经网络中，所包含的除基准类型卷积之外的其余类型卷积，制定转换方法，将其余类型卷积转换为基准类型卷积，然后应用统一的处理引擎在FPGA上进行实现，完成多种类型卷积的FPGA实现。
具体地，对于1×1卷积，其参与单次卷积运算的仅有一个权重值和一个特征值。本发明实施例中提供的1×1卷积转换为基准卷积的转化策略的示意图如图5所示，可以通过零填充将卷积核的大小从1×1转换为3×3，与之对应的是需要将附加的零填充添加到输入要素图以获得正确的输出要素图，从而可以将1×1卷积转换为3×3卷积进行实现。在FPGA上实现时，只需要在为处理引擎提供输入图像数据和权重参数时在适当的位置添加0，而添加0的操作不需要对硬件架构进行修改，只需要在读出输入图像数据和权重时在需要读出0的位置将读出使能信号置为无效，并把此时的数据设为0即可。1×1卷积就被转换为与3×3完全一致的运算，可以步骤二和步骤三所构建的处理引擎以及输入数据控制模块进行实现。
对于步长为1膨胀率为2的3×3空洞卷积，其运算本质上与3×3基准卷积是一致的。其每次运算也都是9个权重与9个特征值的运算。值得注意的是，由于内核的扩展，特征值是从特征图中不相邻的行和列中提取的。此外，在两个连续操作中使用的特征值完全不同。如果卷积核按照像3×3基准卷积那样的原始顺序滑动，则每次参与运算的特征值都和上次参与运算的特征值完全不同，受限于FPGA的数据传输带宽限制，频繁的内存访问将导致较长的延迟。因此，可以将步长为1膨胀率为2的空洞卷积转换为3×3基准卷积进行实现。本发明实施例中提供的步长为1、膨胀率为2的3×3空洞卷积的输入数据存储方式和读取策略示意图如图6所示，在存储输入特征图时，将相邻的两行存储在同一块Bram中，例如Bram_1中存储的是输入特征图的第一行和第二行，Bram_2中存储的是输入特征图的第三行和第四行，Bram_3中存储的是输入特征图的第五行和第六行。这样在取数据时，就可以按照同样的地址，分别在3块Bram中取出输入特征图的第一行、第三行、第五行特征值。同理也可以分别取出第二行、第四行、第六行特征值。同时可以通过设置锯齿形读取使能信号，将奇数列和偶数列的输入数据分别读出。这样在读取输入要素地图时，可以将输入特征图根据奇数行，偶数行，奇数列和偶数列进行分组。本发明实施例中提供的步长为1、膨胀率为2的3×3空洞卷积转换为基准卷积的转化策略的示意图如图7所示，输入的特征值根据组进行重新排序后，不需要再将卷积核进行空洞处理，直接将其作为3×3内核进行卷积即可。通过根据组对获得的计算结果进行重新排序，可以获得输出特征图。步长为1膨胀率为2的3×3空洞卷积就被转换为与3×3完全一致的运算，可以步骤二和步骤三所构建的处理引擎以及输入数据控制模块进行实现。
本发明实施例中提供的步长为2、膨胀率为2的3×3空洞卷积转换为基准卷积的转化策略的示意图如图8所示，步长为2膨胀率为2的3×3空洞卷积的原理类似于具步长为1膨胀率为2的3×3空洞卷积。不同之处在于，只有输入特征图的奇数行和奇数列才会参与卷积运算。因此，在往输入数据控制模块中存储输入特征图时，仅需要存储奇数行的特征图即可。例如Bram_1中存储的是输入特征图的第一行，Bram_2中存储的是输入特征图的第三行，Bram_3中存储的是输入特征图的第五行。同样在读取时可以通过设置锯齿形读取使能信号，仅将奇数列的输入数据读出提供给处理引擎用于参与卷积运算。通过这些转换，步长为2膨胀率为2的3×3空洞卷积就被转换为与3×3完全一致的运算，可以步骤二和步骤三所构建的处理引擎以及输入数据控制模块进行实现。
当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当然可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (6)

1.一种多种类型卷积的FPGA实现方法，其特征在于，包括如下步骤：
步骤一、根据所要实现的多种类型卷积的深度卷积神经网络，选取其中一种常见且具有代表性的卷积作为基准类型卷积，并采用原始循环计算过程对其进行硬件部署，使其能够在FPGA上运行；所述原始循环计算过程中，先进行行处理再进行通道处理；
步骤二、面向所述基准类型卷积设计处理引擎的结构，得到的处理引擎能够部署在FPGA上用于实现基准卷积；
步骤三、设计输入数据控制模块，用于为步骤二得到的处理引擎提供正确的输入数据；
输入数据控制模块搭配处理引擎，将基准类型卷积成功部署在FPGA中；
其中，所述输入数据控制模块包括N个BRAM，设计为乒乓缓冲区，N为基准类型卷积尺寸行数加1；
Ping缓冲区和Pang缓冲区的Bram是有序的，不能颠倒；
当需要对输入特征图进行零填充时，不需要进行额外的存储，选择零作为输出来实现填充操作；
步骤四、针对所要实现的多种类型卷积的深度卷积神经网络中，所包含的除基准类型卷积之外的其余类型卷积，制定转换方法，将其余类型卷积转换为基准类型卷积，然后应用统一的处理引擎在FPGA上进行实现，完成多种类型卷积的FPGA实现。
2.如权利要求1所述的多种类型卷积的FPGA实现方法，其特征在于，所要实现的多种类型卷积的深度卷积神经网络包含的卷积类型有：3×3普通卷积，1×1普通卷积，步长为1、膨胀率为2的3×3空洞卷积以及步长为2、膨胀率为2的3×3空洞卷积。
3.如权利要求2所述的多种类型卷积的FPGA实现方法，其特征在于，对于1×1卷积，通过零填充将卷积核的大小从1×1转换为基准类型卷积尺寸，与之对应的是需要将附加的零填充添加到输入要素图以获得正确的输出要素图；
在FPGA上实现时，在为处理引擎提供输入图像数据和权重参数时，通过添加0的操作，在读出输入图像数据和权重时在需要读出0的位置将读出使能信号置为无效，并把此时的数据设为0。
4.如权利要求2所述的多种类型卷积的FPGA实现方法，其特征在于，对于步长为1膨胀率为2的3×3空洞卷积，在存储输入特征图时，将相邻的两行存储在同一块Bram中，在取数据时，按照同样的地址，分别在Bram中取出输入特征图的奇数行特征值；同理分别取出偶数行特征值；其中，通过设置锯齿形读取使能信号，将奇数列和偶数列的输入数据分别读出；在读取输入要素地图时，将输入特征图根据奇数行、偶数行、奇数列和偶数列进行分组。
5.如权利要求2所述的多种类型卷积的FPGA实现方法，其特征在于，对于步长为2膨胀率为2的3×3空洞卷积，在往输入数据控制模块中存储输入特征图时，仅存储奇数行的特征图；在读取时通过设置锯齿形读取使能信号，仅将奇数列的输入数据读出提供给处理引擎用于参与卷积运算。
6.如权利要求1所述的多种类型卷积的FPGA实现方法，其特征在于，所述步骤二中，利用乘法运算单元和加法运算单元搭建卷积处理引擎，用于在FPGA上完成卷积运算。
CN202110081004.7A 2021-01-21 2021-01-21 一种多种类型卷积的fpga实现方法 Active CN112905526B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110081004.7A CN112905526B (zh) 2021-01-21 2021-01-21 一种多种类型卷积的fpga实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110081004.7A CN112905526B (zh) 2021-01-21 2021-01-21 一种多种类型卷积的fpga实现方法

Publications (2)

Publication Number Publication Date
CN112905526A true CN112905526A (zh) 2021-06-04
CN112905526B CN112905526B (zh) 2022-07-08

Family

ID=76117900

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110081004.7A Active CN112905526B (zh) 2021-01-21 2021-01-21 一种多种类型卷积的fpga实现方法

Country Status (1)

Country Link
CN (1) CN112905526B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610221A (zh) * 2021-06-29 2021-11-05 西安电子科技大学 一种基于fpga的可变膨胀卷积运算硬件系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140289445A1 (en) * 2013-03-22 2014-09-25 Antony Savich Hardware accelerator system and method
CN106779060A (zh) * 2017-02-09 2017-05-31 武汉魅瞳科技有限公司 一种适于硬件设计实现的深度卷积神经网络的计算方法
CN106951961A (zh) * 2017-02-24 2017-07-14 清华大学 一种粗粒度可重构的卷积神经网络加速器及系统
CN109086867A (zh) * 2018-07-02 2018-12-25 武汉魅瞳科技有限公司 一种基于fpga的卷积神经网络加速系统
CN111931909A (zh) * 2020-07-24 2020-11-13 北京航空航天大学 一种基于fpga的轻量卷积神经网络可重构部署方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140289445A1 (en) * 2013-03-22 2014-09-25 Antony Savich Hardware accelerator system and method
CN106779060A (zh) * 2017-02-09 2017-05-31 武汉魅瞳科技有限公司 一种适于硬件设计实现的深度卷积神经网络的计算方法
CN106951961A (zh) * 2017-02-24 2017-07-14 清华大学 一种粗粒度可重构的卷积神经网络加速器及系统
CN109086867A (zh) * 2018-07-02 2018-12-25 武汉魅瞳科技有限公司 一种基于fpga的卷积神经网络加速系统
CN111931909A (zh) * 2020-07-24 2020-11-13 北京航空航天大学 一种基于fpga的轻量卷积神经网络可重构部署方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHEN, L等: "《Hardware Implementation of Convolutional Neural Network-Based Remote Sensing Image Classification Method》", 《COMMUNICATIONS, SIGNAL PROCESSING, AND SYSTEMS》 *
CHEN, L等: "《Hardware Implementation of Convolutional Neural Network-Based Remote Sensing Image Classification Method》", 《COMMUNICATIONS, SIGNAL PROCESSING, AND SYSTEMS》, 14 August 2019 (2019-08-14) *
聂宇琛等: "一种高数据重用通用CNN计算模块设计", 《单片机与嵌入式系统应用》 *
聂宇琛等: "一种高数据重用通用CNN计算模块设计", 《单片机与嵌入式系统应用》, no. 05, 1 May 2020 (2020-05-01) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610221A (zh) * 2021-06-29 2021-11-05 西安电子科技大学 一种基于fpga的可变膨胀卷积运算硬件系统
CN113610221B (zh) * 2021-06-29 2024-02-13 西安电子科技大学 一种基于fpga的可变膨胀卷积运算硬件系统

Also Published As

Publication number Publication date
CN112905526B (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
CN108985450B (zh) 面向向量处理器的卷积神经网络运算向量化方法
CN111445012B (zh) 一种基于fpga的分组卷积硬件加速器及其方法
US20180129935A1 (en) Convolutional neural network system and operation method thereof
US20170212757A1 (en) Simd processing unit with local data share and access to a global data share of a gpu
CN111079923B (zh) 适用于边缘计算平台的Spark卷积神经网络系统及其电路
CN107742150B (zh) 一种卷积神经网络的数据处理方法和装置
CN109146065B (zh) 二维数据的卷积运算方法及装置
CN108520297B (zh) 可编程深度神经网络处理器
CN114358238A (zh) 多核硬件中神经网络的实现方式
EP4181024A1 (en) Dilated convolution acceleration calculation method and apparatus
CN113743587A (zh) 一种卷积神经网络池化计算方法、系统、及存储介质
CN112905526B (zh) 一种多种类型卷积的fpga实现方法
KR20200066143A (ko) 축소 반복 블록을 이용한 뉴럴 네트워크 경량화 방법 및 이를 위한 장치
CN113254391A (zh) 一种神经网络加速器卷积计算和数据载入并行方法及装置
CN114169514B (zh) 一种卷积硬件加速方法及卷积硬件加速电路
CN110414672B (zh) 卷积运算方法、装置及系统
CN114003201A (zh) 矩阵变换方法、装置及卷积神经网络加速器
CN109447239B (zh) 一种基于arm的嵌入式卷积神经网络加速方法
CN110647978A (zh) 在卷积神经网络中提取卷积窗的系统和方法
CN112001492A (zh) 关于二值权重DenseNet模型的混合流水式加速架构及加速方法
CN111191774B (zh) 面向精简卷积神经网络的低代价加速器架构及其处理方法
CN112183732A (zh) 卷积神经网络加速方法、装置和计算机设备
CN109800867B (zh) 一种基于fpga片外存储器的数据调用方法
CN113128688B (zh) 通用型ai并行推理加速结构以及推理设备
CN112862079B (zh) 一种流水式卷积计算架构设计方法及残差网络加速系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant