CN209657350U - 一种反卷积硬件加速电路 - Google Patents

一种反卷积硬件加速电路 Download PDF

Info

Publication number
CN209657350U
CN209657350U CN201920554691.8U CN201920554691U CN209657350U CN 209657350 U CN209657350 U CN 209657350U CN 201920554691 U CN201920554691 U CN 201920554691U CN 209657350 U CN209657350 U CN 209657350U
Authority
CN
China
Prior art keywords
module
input
input terminal
multiply
buffer module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201920554691.8U
Other languages
English (en)
Inventor
王子彤
姜凯
秦刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Group Co Ltd
Original Assignee
Inspur Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Group Co Ltd filed Critical Inspur Group Co Ltd
Priority to CN201920554691.8U priority Critical patent/CN209657350U/zh
Application granted granted Critical
Publication of CN209657350U publication Critical patent/CN209657350U/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本实用新型公开了一种反卷积硬件加速电路，包括输入缓冲模块、权重缓冲模块、输入扩展模块、可配置脉动乘加模块、输出缓冲模块和控制模块；所述输入扩展模块包括输入FIFO存储器和参数FIFO存储器；所述控制模块分别连接输入缓冲模块、权重缓冲模块、可配置脉动乘加模块和输出缓冲模块的输入端，所述控制模块连接参数FIFO存储器的输入端；所述输入缓冲模块的输出端连接输入FIFO存储器的输入端，所述输入扩展模块的输出端连接可配置脉动乘加模块输入端一，所述权重缓冲模块的输出端连接可配置脉动乘加模块输入端二，可配置脉动乘加模块的输出端连接输出缓冲模块的输入端。使得反卷积等新算法在端上的部署与运行得到更可靠的保证。

Description

一种反卷积硬件加速电路
技术领域
本实用新型属于人工智能数据处理领域，具体涉及一种反卷积硬件加速电路。
背景技术
随着卷积神经网络应用场景不断增加，反卷积(Deconvolution)方法被提出并大量应用。反卷积过程可视为正向卷积在大小上的逆向，一般使用步幅(Stride)小于1的卷积进行上采样，使输出大小变大，即相当于对原数据进行膨胀及填充(Padding)，将原卷积结果映射回原始输入。
反卷积可以作为对抗生成网络GAN(Generative Adversarial Network)中，重建生成图片的方法，将得到的特征图还原到原始像素空间，以观察特定的特征图对哪些图案的图片敏感，可将卷积神经网络可视化。反卷积还可作为全卷积网络FCN(FullyConvolutional Networks)中使得图像变大恢复，以获得相应的像素值，实现图像端到端语义分割。
反卷积目前多采用将特征输入及卷积核进行行列变换，然后使用CPU进行矩阵乘法，以获得最终反卷积结果，这对部署在端上的CNN来说将带来资源与能耗上的巨大消耗。如图1。
发明内容
为解决现有技术中的不足，本实用新型提出了一种反卷积硬件加速电路，可以使得反卷积等新算法在端上的部署与运行得到更可靠的保证。
采用以下技术方案：
一种反卷积硬件加速电路，包括输入缓冲模块、权重缓冲模块、输入扩展模块、可配置脉动乘加模块、输出缓冲模块和控制模块；所述输入扩展模块包括输入FIFO存储器和参数FIFO存储器；所述控制模块分别连接输入缓冲模块、权重缓冲模块、可配置脉动乘加模块和输出缓冲模块的输入端，所述控制模块连接参数FIFO存储器的输入端；所述输入缓冲模块的输出端连接输入FIFO存储器的输入端，所述输入扩展模块的输出端连接可配置脉动乘加模块输入端一，所述权重缓冲模块的输出端连接可配置脉动乘加模块输入端二，可配置脉动乘加模块的输出端连接输出缓冲模块的输入端。
所述输入缓冲模块包括第一RAM，所述第一RAM的输入端连接控制模块，第一RAM的输出端连接输入FIFO的输入端。
所述可配置脉动乘加模块包括数据选通乘法单元和若干加法单元，所述数据选通乘法单元包括依次连接的双路选择器和乘法器，所述输入端一连接若干所述双路选择器的输入端，输入端二连接若干乘法器的输入端，所述加法单元包括依次连接的D触发器和加法器，对数据选通乘法单元的输出结果进行缓存并累加。
所述权重缓冲模块包括第二RAM，所述第二RAM的输入端连接控制模块，第二RAM的输出端连接输入端二。
包括两个或两个以上可配置脉动乘加模块，两个或两个以上可配置脉动乘加模块的输出端均通过加法阵列器连接到输出缓冲模块的输入端。
输出缓冲模块包括RAM。
本实用新型的有益效果为：
一种反卷积硬件加速电路，可根据算法需求对待反卷积输入数据进行不同程度的膨胀扩张，灵活可靠完成反卷积输入变形，通过脉动乘加单元完成卷积计算，有效利用了片上乘法加法器，随着数据的流入即完成乘累加操作，提高了资源利用率，同时根据算法需求，乘加单元可配置，降低了系统功耗，使得反卷积等新算法在端上的部署与运行得到更可靠的保证。
附图说明
图1为反卷积计算示意图；
图2为本反卷积硬件加速电路图。
具体实施方式
为了使本实用新型所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本实用新型进行详细的说明。应当说明的是，此处所描述的具体实施例仅用以解释本实用新型，并不用于限定本实用新型。
如图2所示，一种反卷积硬件加速电路，包括输入缓冲模块、权重缓冲模块、输入扩展模块、可配置脉动乘加模块、输出缓冲模块和控制模块。
输入扩展模块包括输入FIFO存储器和参数FIFO存储器；控制模块分别连接输入缓冲模块、权重缓冲模块、可配置脉动乘加模块和输出缓冲模块的输入端，控制模块连接参数FIFO存储器的输入端；输入缓冲模块的输出端连接输入FIFO存储器的输入端，FIFO存储器和参数FIFO存储器的输出端均连接可配置脉动乘加模块输入端一，权重缓冲模块的输出端连接可配置脉动乘加模块输入端二，可配置脉动乘加模块的输出端连接输出缓冲模块的输入端。
所述控制模块，用于电路流程控制，给出各模块参数信号，控制反卷积过程。
输入缓冲模块，用于对待反卷积的数据进行缓冲，其读写信号及所需存储单元数量由所述控制模块给出，输入缓冲模块包括第一RAM(随机存取存储器)，第一RAM的输入端分别连接前级待反卷积数据和控制模块，第一RAM的输出端连接输入FIFO的输入端。
可配置脉动乘加模块用于完成反卷积计算中数据乘积计算、累加计算、数据暂存、数据选通，包括若干数据选通乘法单元和若干加法单元，所述数据选通乘法单元包括依次连接的双路选择器和乘法器，数据选通乘法单元包括两个输入端：输入端一连接输入扩展模块的输出端，输入端二连接权重缓冲模块的输出端；当模块检测到当前乘数为1时，使能选通通路，跳过当前乘积操作，直接进行数据暂存；所述加法单元包括依次连接的D触发器和加法器，对数据选通乘法单元的输出结果进行缓存并累加。
所述数据选通乘法单元和所述加法单元数量可配置，如当计算3x3卷积时，设置数据选通乘法单元和加法单元数量各为3；根据算法需要，所述脉动乘加模块数量可配置，多个脉动乘加模块并行连接，其输出端之间均通过加法阵列器连接到输出缓冲模块的输入端。
输入端一的另一端连接若干所述双路选择器的输入端，输入端二的另一端连接若干乘法器的输入端。
权重缓冲模块用于对待反卷积的卷积核数据进行缓冲，其读写信号及所需存储单元数量由所述控制模块给出；权重缓冲模块包括第二RAM，第二RAM的输入端连接控制模块，第二RAM的输出端连接可配置脉动乘加模块的输入端二。
所述输入扩展模块，用于对待反卷积的数据进行扩展，FIFO读写信号及FIFO深度由所述控制模块给出；待反卷积的数据扩展包括数据四周填充(Padding)及数据按一定步幅(Stride)膨胀，Padding和Stride由所述控制模块给出，缓冲在所述参数FIFO存储器中，控制模块给出FIFO读写信号，分别从所述输入FIFO存储器和参数FIFO存储器中读取数据送出。
输出缓冲模块包括RAM，用于对反卷积结果进行缓冲。

Claims (6)

1.一种反卷积硬件加速电路，其特征在于，包括输入缓冲模块、权重缓冲模块、输入扩展模块、可配置脉动乘加模块、输出缓冲模块和控制模块；所述输入扩展模块包括输入FIFO存储器和参数FIFO存储器；所述控制模块分别连接输入缓冲模块、权重缓冲模块、可配置脉动乘加模块和输出缓冲模块的输入端，所述控制模块连接参数FIFO存储器的输入端；所述输入缓冲模块的输出端连接输入FIFO存储器的输入端，所述输入扩展模块的输出端连接可配置脉动乘加模块输入端一，所述权重缓冲模块的输出端连接可配置脉动乘加模块输入端二，可配置脉动乘加模块的输出端连接输出缓冲模块的输入端。
2.如权利要求1所述的反卷积硬件加速电路，其特征在于，所述输入缓冲模块包括第一RAM，所述第一RAM的输入端连接控制模块，第一RAM的输出端连接输入FIFO的输入端。
3.如权利要求1所述的反卷积硬件加速电路，其特征在于，所述可配置脉动乘加模块包括数据选通乘法单元和若干加法单元，所述数据选通乘法单元包括依次连接的双路选择器和乘法器，所述输入端一连接若干所述双路选择器的输入端，输入端二连接若干乘法器的输入端，所述加法单元包括依次连接的D触发器和加法器，对数据选通乘法单元的输出结果进行缓存并累加。
4.如权利要求3所述的反卷积硬件加速电路，其特征在于，所述权重缓冲模块包括第二RAM，所述第二RAM的输入端连接控制模块，第二RAM的输出端连接输入端二。
5.如权利要求1所述的反卷积硬件加速电路，其特征在于，包括两个或两个以上可配置脉动乘加模块，两个或两个以上可配置脉动乘加模块的输出端均通过加法阵列器连接到输出缓冲模块的输入端。
6.如权利要求1所述的反卷积硬件加速电路，其特征在于，输出缓冲模块包括RAM。
CN201920554691.8U 2019-04-23 2019-04-23 一种反卷积硬件加速电路 Active CN209657350U (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201920554691.8U CN209657350U (zh) 2019-04-23 2019-04-23 一种反卷积硬件加速电路

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201920554691.8U CN209657350U (zh) 2019-04-23 2019-04-23 一种反卷积硬件加速电路

Publications (1)

Publication Number Publication Date
CN209657350U true CN209657350U (zh) 2019-11-19

Family

ID=68529639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201920554691.8U Active CN209657350U (zh) 2019-04-23 2019-04-23 一种反卷积硬件加速电路

Country Status (1)

Country Link
CN (1) CN209657350U (zh)

Similar Documents

Publication Publication Date Title
CN108416434B (zh) 针对神经网络的卷积层与全连接层进行加速的电路结构
CN111242289B (zh) 一种规模可扩展的卷积神经网络加速系统与方法
CN106022468B (zh) 人工神经网络处理器集成电路及该集成电路的设计方法
KR102325602B1 (ko) 데이터를 병렬적으로 처리하는 장치 및 방법
CN107918794A (zh) 基于计算阵列的神经网络处理器
CN107832804A (zh) 一种信息处理方法及相关产品
CN111445012A (zh) 一种基于fpga的分组卷积硬件加速器及其方法
CN109416756A (zh) 卷积器及其所应用的人工智能处理装置
CN111047008B (zh) 一种卷积神经网络加速器及加速方法
Hailesellasie et al. FPGA-based convolutional neural network architecture with reduced parameter requirements
US11120101B2 (en) Matrix multiplication system and method
CN111626403B (zh) 一种基于cpu-fpga内存共享的卷积神经网络加速器
CN112703511B (zh) 运算加速器和数据处理方法
CN114781629B (zh) 基于并行复用的卷积神经网络的硬件加速器及并行复用方法
CN110321064A (zh) 用于神经网络的计算平台实现方法及系统
CN103248540A (zh) 基于多分形小波模型的fpga网络流量发生系统及方法
CN111340198A (zh) 基于fpga的数据高度复用的神经网络加速器
CN209657350U (zh) 一种反卷积硬件加速电路
CN114003201A (zh) 矩阵变换方法、装置及卷积神经网络加速器
CN116167425B (zh) 一种神经网络加速方法、装置、设备及介质
CN112395549A (zh) 一种用于矩阵乘法密集型算法的可重构矩阵乘法加速系统
CN113792868A (zh) 神经网络计算模块、方法和通信设备
CN107609646A (zh) 一种残差网络实现方法、系统、设备及计算机存储介质
CN107783935A (zh) 基于动态精度可配运算的近似计算可重构阵列
CN214586992U (zh) 神经网络加速电路、图像处理器及三维成像电子设备

Legal Events

Date Code Title Description
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200608

Address after: 250100, Ji'nan province high tech Zone, Sun Village Branch Road, No. 2877, building, floor, building, on the first floor

Patentee after: Jinan Inspur Wireless Communication Co.,Ltd.

Address before: 250100 Ji'nan high tech Zone, Shandong, No. 1036 wave road

Patentee before: INSPUR GROUP Co.,Ltd.

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Assignee: Shandong new generation Information Industry Technology Research Institute Co.,Ltd.

Assignor: Jinan Inspur Wireless Communication Co.,Ltd.

Contract record no.: X2020980007360

Denomination of utility model: A hardware acceleration circuit for deconvolution

Granted publication date: 20191119

License type: Exclusive License

Record date: 20201030

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230407

Address after: 1036 Gaoxin Langchao Road, Jinan City, Shandong Province

Patentee after: INSPUR GROUP Co.,Ltd.

Address before: 250100 First Floor of R&D Building 2877 Kehang Road, Sun Village Town, Jinan High-tech Zone, Shandong Province

Patentee before: Jinan Inspur Wireless Communication Co.,Ltd.