CN210222752U - 一种基于fft卷积加速电路 - Google Patents
一种基于fft卷积加速电路 Download PDFInfo
- Publication number
- CN210222752U CN210222752U CN201921604673.2U CN201921604673U CN210222752U CN 210222752 U CN210222752 U CN 210222752U CN 201921604673 U CN201921604673 U CN 201921604673U CN 210222752 U CN210222752 U CN 210222752U
- Authority
- CN
- China
- Prior art keywords
- module
- fft
- convolution
- control module
- access control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001133 acceleration Effects 0.000 title claims description 14
- 238000004364 calculation method Methods 0.000 claims description 24
- 238000013500 data storage Methods 0.000 claims description 14
- FYYHWMGAXLPEAU-UHFFFAOYSA-N Magnesium Chemical compound [Mg] FYYHWMGAXLPEAU-UHFFFAOYSA-N 0.000 claims description 4
- 229910052749 magnesium Inorganic materials 0.000 claims description 4
- 239000011777 magnesium Substances 0.000 claims description 4
- 238000000034 method Methods 0.000 abstract description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000005457 optimization Methods 0.000 abstract description 2
- 230000009466 transformation Effects 0.000 description 5
- 230000003139 buffering effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Abstract
本实用新型涉及人工智能数据处理领域，具体提供了一种基于FFT卷积加速电路。其结构包括参数初始化及存取控制模块、参数控制模块和存取控制模块，所述参数初始化及存取控制模块分别与参数控制模块和存取控制模块连接；所述参数控制模块用于对参数初始化配置；所述存取控制模块用于对数据的存取。与现有技术相比，本实用新型的基于FFT卷积加速电路，具有使得控制复杂，连线密集的卷积运算得到优化，并通过快速傅里叶变换提升卷积运算的效率，使得乘法次数减少，从而加快了算法的运行速度，在高扇入扇出的大量数据卷积过程中起到加速优化作用。具有良好的推广作用。
Description
技术领域
本实用新型涉及人工智能数据处理领域，具体提供一种基于FFT卷积加速电路。
背景技术
卷积可认为是一个函数(如：单位响应)在另一个函数(如：输入信号)上的加权叠加，图像二维卷积在一维卷积的基础上，通过特定的卷积核进行加权叠加，可对原图像数据进行局部变换，起到特征提取的作用。
卷积与傅里叶变换之间有着密切关系。在时域中，对于图像的每个像素点，计算它的领域像素和滤波器矩阵的对应元素的乘积，然后累加；利用卷积性质，两个函数的傅里叶变换的乘积等于它们卷积后的傅里叶变换，能够使许多问题在处理得到简化。
现有技术下的乘加阵列电路，控制复杂，运行速度较慢，程序复杂。
发明内容
本实用新型是针对上述现有技术的不足，提供一种设计合理、结构简单、使用安全、运行速度快的基于FFT卷积加速电路。
本实用新型解决其技术问题所采用的技术方案是：
一种基于FFT卷积加速电路包括参数初始化及存取控制模块、参数控制模块和存取控制模块，所述参数初始化及存取控制模块分别与参数控制模块和存取控制模块连接；
所述参数控制模块用于对参数初始化配置；所述存取控制模块用于对数据的存取。
进一步的，还包括卷积数据FIFO模块，所述卷积数据FIFO模块与参数初始化及存取控制模块和参数控制模块相连。
进一步的，所述参数控制模块由多通道FFT计算模块、乘法器阵列模块和多通道IFFT计算模块组成，所述参数初始化及存取控制模块分别与多通道FFT计算模块、乘法器阵列模块和多通道LFFT计算模块相连；
所述乘法器阵列与多通道IFFT计算模块和卷积数据FIFO模块依次连接。
进一步的，所述存取控制模块由图像数据存储模块、FFT数据FIFO模块和变换后卷积核存储模块组成，所述图像数据存储模块、FFT数据FIFO模块和变换后卷积核存储模块都与参数初始化及存取控制模块连接；
所述图像数据存储模块与多通道FFT计算模块、FFT数据FIFO模块、乘法器阵列模块、多通道IFFT计算模块和卷积数据FIFO模块依次连接，所述变换后卷积核存储模块与乘法器阵列模块连接。
作为优选，所述乘法器阵列模块由乘法器构成，采用MC1496芯片，用于完成变换后的图像数据与卷积核数据的乘积计算。
作为优选，所述参数初始化及存取控制模块采用S3C2440芯片。
作为优选，所述变换后卷积核存储模块与图像数据存储模块采用镁光MT41K128M16JT-125-DDR3芯片，所述变换后卷积核存储模块用于存储变换后卷积核数据，所述图像数据存储模块用于存储待卷积计算的图像数据。
作为优选，所述多通道FFT计算模块与多通道IFFT计算模块采用A41102芯片，所述多通道FFT计算模块用于对输入的多路数据进行快速傅里叶变换计算，多通道IFFT计算模块用于对输入的多路数据进行逆快速傅里叶变换计算。
作为优选，所述FFT数据FIFO模块与卷积数据FIFO模块采用IDT7203芯片，所述FFT数据FIFO模块用于缓存FFT结果，并输出至所述乘法器阵列模块，卷积数据FIFO用于缓存卷积结果，并输出给后级电路。
本实用新型的基于FFT卷积加速电路和现有技术相比，具有以下突出的有益效果：
本发明以快速傅里叶正反变换电路代替之前的乘加阵列电路，使得控制复杂，连线密集的卷积运算得到优化，通过快速傅里叶变换提升卷积运算的效率，使得乘法次数减少，从而加快了算法的运行速度，在高扇入扇出的大量数据卷积过程中起到加速优化作用。
附图说明
为了更清楚地说明本实用新型实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本实用新型的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
附图1是一种基于FFT卷积加速电路的结构示意图。
具体实施方式
下面结合附图和具体实施例对本实用新型作进一步说明，但不作为对本实用新型的限定。
在本实用新型中，在未作相反说明的情况下，使用的方位词如“上、下、左、右”通常是指参考附图所示的上、下、左、右；“内、外”是指相对于各部件本身的轮廓的内、外。
下面给出一个最佳实施例：
如图1所示，本实施例中的基于FFT卷积加速电路由参数初始化及存取控制模块、参数控制模块、存取控制模块和卷积数据FIFO模块组成。其中，参数控制模块由多通道FFT计算模块、乘法器阵列模块和多通道IFFT计算模块组成，存取控制模块由图像数据存储模块、FFT数据FIFO模块和变换后卷积核存储模块组成。
参数初始化及存取控制模块分别与图像数据存储模块、多通道FFT计算模块、FFT数据FIFO模块、乘法器阵列模块、多通道IFFT计算模块和卷积数据FIFO模块相连。图像数据存储模块与多通道FFT计算模块、FFT数据FIFO模块、乘法器阵列模块、多通道IFFT计算模块和卷积数据FIFO模块依次连接，变换后卷积核存储模块与乘法器阵列模块连接。
其中，如下：
参数初始化及存取控制模块采用S3C2440芯片；
图像数据存储模块用于存储待卷积计算的图像数据，采用镁光MT41K128M16JT-125-DDR3芯片；
多通道FFT计算模块用于对输入的多路数据进行快速傅里叶变换(FFT)计算，采用Austek公司的A41102芯片；
FFT数据FIFO模块用于缓存FFT结果，并输出至所述乘法器阵列模块，采用IDT公司的IDT7203芯片；
乘法器阵列模块由乘法器构成，采用MC1496芯片，用于完成变换后的图像数据与卷积核数据的乘积计算；
多通道IFFT计算模块，用于对输入的多路数据进行逆快速傅里叶变换(IFFT)计算，采用Austek公司的A41102芯片；
变换后卷积核存储模块用于存储变换后的卷积核数据，采用镁光MT41K128M16JT-125-DDR3芯片；
卷积数据FIFO用于缓存卷积结果，并输出给后级电路用于后续计算，采用IDT公司的IDT7203芯片。
本实施例中参数初始化参数包括FFT/IFFT通道数、每通道像素数、有效数据位宽和乘法器阵列模块中乘法器的数量。
卷积核变换过程在上位机提前完成，根据现有的算法，将每行、每列卷积核进行行、列复制扩展，使变换后卷积核尺寸与待FFT输入图像数据尺寸一致，然后进行快速傅里叶变换(FFT)。
本实用新型的基于FFT卷积加速电路在使用时，输入图像某行像素为[p1,p2,p3,p4,p5,p6,p7,p8]，将其送入所述多通道FFT计算模块进行FFT计算，得到结果[P1,P2,P3,P4,P5,P6,P7,P8]，并存入FFT数据FIFO模块进行缓存；在变换后卷积核存储模块输出变换后的卷积核数据[K1,K2,K3,K4,K5,K6,K7,K8],与FFT结果一同送入所述乘法器阵列模块进行逐项并行乘积计算，将得到结果送入所述多通道IFFT计算模块进行反变换，得到最终卷积结果[c1,c2,c3,c4,c5,c6,c7,c8]，送入卷积数据FIFO模块进行缓存并用于后续计算。
以上所述的实施例，只是本实用新型较优选的具体实施方式的一种，本领域的技术人员在本实用新型技术方案范围内进行的通常变化和替换都应包含在本实用新型的保护范围内。
Claims (9)
1.一种基于FFT卷积加速电路，其特征在于：包括参数初始化及存取控制模块、参数控制模块和存取控制模块，所述参数初始化及存取控制模块分别与参数控制模块和存取控制模块连接；
所述参数控制模块用于对参数初始化配置；所述存取控制模块用于对数据的存取。
2.根据权利要求1所述的一种基于FFT卷积加速电路，其特征在于：还包括卷积数据FIFO模块，所述卷积数据FIFO模块与参数初始化及存取控制模块和参数控制模块相连。
3.根据权利要求1或2所述的一种基于FFT卷积加速电路，其特征在于：所述参数控制模块由多通道FFT计算模块、乘法器阵列模块和多通道IFFT计算模块组成，所述参数初始化及存取控制模块分别与多通道FFT计算模块、乘法器阵列模块和多通道LFFT计算模块相连；
所述乘法器阵列与多通道IFFT计算模块和卷积数据FIFO模块依次连接。
4.根据权利要求3所述的一种基于FFT卷积加速电路，其特征在于：所述存取控制模块由图像数据存储模块、FFT数据FIFO模块和变换后卷积核存储模块组成，所述图像数据存储模块、FFT数据FIFO模块和变换后卷积核存储模块都与参数初始化及存取控制模块连接；
所述图像数据存储模块与多通道FFT计算模块、FFT数据FIFO模块、乘法器阵列模块、多通道IFFT计算模块和卷积数据FIFO模块依次连接，所述变换后卷积核存储模块与乘法器阵列模块连接。
5.根据权利要求4所述的一种基于FFT卷积加速电路，其特征在于：所述乘法器阵列模块由乘法器构成，采用MC1496芯片，用于完成变换后的图像数据与卷积核数据的乘积计算。
6.根据权利要求5所述的一种基于FFT卷积加速电路，其特征在于：所述参数初始化及存取控制模块采用S3C2440芯片。
7.根据权利要求6所述的一种基于FFT卷积加速电路，其特征在于：所述变换后卷积核存储模块与图像数据存储模块采用镁光MT41K128M16JT-125-DDR3芯片，所述变换后卷积核存储模块用于存储变换后卷积核数据，所述图像数据存储模块用于存储待卷积计算的图像数据。
8.根据权利要求7所述的一种基于FFT卷积加速电路，其特征在于：所述多通道FFT计算模块与多通道IFFT计算模块采用A41102芯片，所述多通道FFT计算模块用于对输入的多路数据进行快速傅里叶变换计算，多通道IFFT计算模块用于对输入的多路数据进行逆快速傅里叶变换计算。
9.根据权利要求8所述的一种基于FFT卷积加速电路，其特征在于：所述FFT数据FIFO模块与卷积数据FIFO模块采用IDT7203芯片，所述FFT数据FIFO模块用于缓存FFT结果，并输出至所述乘法器阵列模块，卷积数据FIFO用于缓存卷积结果，并输出给后级电路。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201921604673.2U CN210222752U (zh) | 2019-09-25 | 2019-09-25 | 一种基于fft卷积加速电路 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201921604673.2U CN210222752U (zh) | 2019-09-25 | 2019-09-25 | 一种基于fft卷积加速电路 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN210222752U true CN210222752U (zh) | 2020-03-31 |
Family
ID=69920782
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201921604673.2U Active CN210222752U (zh) | 2019-09-25 | 2019-09-25 | 一种基于fft卷积加速电路 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN210222752U (zh) |
-
2019
- 2019-09-25 CN CN201921604673.2U patent/CN210222752U/zh active Active
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111242289B (zh) | 一种规模可扩展的卷积神经网络加速系统与方法 | |
| CN108805266A (zh) | 一种可重构cnn高并发卷积加速器 | |
| US20230026006A1 (en) | Convolution computation engine, artificial intelligence chip, and data processing method | |
| CN111898733A (zh) | 一种深度可分离卷积神经网络加速器架构 | |
| CN103049241A (zh) | 一种提高cpu+gpu异构装置计算性能的方法 | |
| US11615607B2 (en) | Convolution calculation method, convolution calculation apparatus, and terminal device | |
| CN109993293B (zh) | 一种适用于堆叠式沙漏网络的深度学习加速器 | |
| CN109726822B (zh) | 运算方法、装置及相关产品 | |
| CN110059797B (zh) | 一种计算装置及相关产品 | |
| US20220253668A1 (en) | Data processing method and device, storage medium and electronic device | |
| CN110163349B (zh) | 一种网络模型的计算方法及装置 | |
| CN103577161A (zh) | 一种面向大数据的数据频度并行处理方法 | |
| CN102567282B (zh) | 通用dsp处理器中fft计算实现装置和方法 | |
| CN109472734B (zh) | 一种基于fpga的目标检测网络及其实现方法 | |
| CN110059809B (zh) | 一种计算装置及相关产品 | |
| US20050289207A1 (en) | Fast fourier transform processor, dynamic scaling method and fast Fourier transform with radix-8 algorithm | |
| CN105955896A (zh) | 一种可重构dbf算法硬件加速器及控制方法 | |
| CN112559954B (zh) | 基于软件定义可重构处理器的fft算法处理方法及装置 | |
| CN113516236A (zh) | 基于zynq平台的vgg16网络并行加速处理方法 | |
| CN210222752U (zh) | 一种基于fft卷积加速电路 | |
| CN111178513B (zh) | 神经网络的卷积实现方法、卷积实现装置及终端设备 | |
| CN114764615A (zh) | 卷积运算的实现方法、数据处理方法及装置 | |
| CN117271953A (zh) | 一种用于优化快速傅里叶变换的存内计算加速电路及方法 | |
| CN108960203B (zh) | 一种基于fpga异构计算的车辆检测方法 | |
| Rizvi et al. | GPU-only unified ConvMM layer for neural classifiers |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230327 Address after: 250000 building S02, No. 1036, Langchao Road, high tech Zone, Jinan City, Shandong Province Patentee after: Shandong Inspur Scientific Research Institute Co.,Ltd. Address before: No. 1036, Shandong high tech Zone wave road, Ji'nan, Shandong Patentee before: INSPUR GROUP Co.,Ltd. |