CN113626756A - 神经网络实现端到端的定点快速傅里叶变换量化方法及系统 - Google Patents
神经网络实现端到端的定点快速傅里叶变换量化方法及系统 Download PDFInfo
- Publication number
- CN113626756A CN113626756A CN202010380295.5A CN202010380295A CN113626756A CN 113626756 A CN113626756 A CN 113626756A CN 202010380295 A CN202010380295 A CN 202010380295A CN 113626756 A CN113626756 A CN 113626756A
- Authority
- CN
- China
- Prior art keywords
- neural network
- quantization
- fixed point
- point
- frequency domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013139 quantization Methods 0.000 title claims abstract description 53
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000007667 floating Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000013135 deep learning Methods 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 230000008030 elimination Effects 0.000 claims description 2
- 238000003379 elimination reaction Methods 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 claims description 2
- 238000010801 machine learning Methods 0.000 abstract description 4
- 238000013461 design Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 229920005994 diacetyl cellulose Polymers 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
- G06F17/141—Discrete Fourier transforms
- G06F17/142—Fast Fourier transforms, e.g. using a Cooley-Tukey type algorithm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Discrete Mathematics (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
一种神经网络实现端到端的定点快速傅里叶变换量化方法及系统，将浮点时域数据通过基于深度学习的神经网络的量化处理得到相应的定点时域数据，并进一步通过定点快速傅里叶变换得到对应的顶点频域数据，再通过基于深度学习的神经网络的去向量处理得到浮点频域数据。本发明使用截断方法满足有限字长的要求并方便地节省内存资源，同时通过机器学习方法联合优化信号的量化与去量化过程，不必需各种先验信息就能够完成信号的量化工作，且适用于任何线性运算。
Description
技术领域
本发明涉及的是一种信号处理领域的技术，具体是一种适用于正交频分复用系统的神经网络实现端到端的定点快速傅里叶变换量化方法及系统。
背景技术
现代信息通信技术产业是建立在硅基解决方案之上的，由于硅的半导电性，互补金属氧化物半导体(CMOS)集成电路具有很强的二进制信息位表示和计算能力，从而引发了本世纪初的信息革命技术。然而，在现实世界中的感知信号或是采样信号通常不是二进制的，量化问题在过去的几十年里已经被揭示出来。由于量化的分辨率对电路设计的许多方面都有很大的影响，例如面积、速度或功耗，所以量化方案已经被广泛研究。作为通信信号处理领域的基本模块，FFT运算与量化联合设计的研究变得十分有意义。
发明内容
本发明针对现有技术存在的上述不足，提出一种神经网络实现端到端的定点快速傅里叶变换量化方法及系统，使用截断方法满足有限字长的要求并方便地节省内存资源，同时通过机器学习方法联合优化信号的量化与去量化过程，不必需各种先验信息就能够完成信号的量化工作，且适用于任何线性运算。
本发明是通过以下技术方案实现的：
本发明涉及一种神经网络实现端到端的定点快速傅里叶变换量化方法，将浮点时域数据通过基于深度学习的神经网络的量化处理得到相应的定点时域数据，并进一步通过定点快速傅里叶变换(FFT)得到对应的顶点频域数据，再通过基于深度学习的神经网络的去向量处理得到浮点频域数据。
技术效果
本发明整体所解决的技术问题包括：
1)联合量化和信号处理设计问题：目前包括FFT/IFFT的信号处理电路设计，都是基于一些预先定义的位宽要求，这样能够方便与ADC/DACs平滑级联。由于ADC/DACs是为通用信号处理系统设计的，因此目前很少有关于与特定信号处理算法的联合优化问题的研究。
2)联合量化和去量化设计的问题：目前的研究主要集中在量化方面，而去量化方案通常被忽略。但是，如果我们能够从联合量化和去量化的角度清楚地识别出目标的恢复要求，就可以解决定点信号处理中的瓶颈问题，从而能够进一步优化现有的量化/去量化方案。；
与现有技术相比，本发明不使用传统的量化损耗，而是同时考虑浮点和定点信号处理链，并选择上述两种方案之间的端到端信号失真作为性能度量。本发明能够联合测量量化和去量化的质量，并在此基础上进行优化量化和去量化的设计。同时，应用基于机器学习的方法，只要训练数据可用，上述方案就可以适应不同的输入信号，并扩展到其他线性/非线性对称操作。
附图说明
图1为端到端量化框架示意图；
图2为本发明流程示意图；
图3为深度学习网络架构示意图；
图4为指数信号基线与CNN量化结果示意图。
具体实施方式
如图1所示，为本实施例涉及一种基于复数表示的端到端量化框架，输入的浮点数据x(k)需要经过量化网络Q的得到定点量化数据
将时域数据进行定点FFT运算后得到频域数据
再经过去量化网络
恢复成浮点数据
所述的端到端量化框架包括：分别用于量化和去量化的基于深度学习的神经网络以及定点FFT运算模块，其中：神经网络对量化函数
和去量化函数
建模，将输入的浮点数据的数组Re(x(k))输入用于量化的神经网络，得到量化完成的数据
和
定点FFT运算模块输出的频域数据
和
输入用于去量化的神经网络得到恢复出的浮点频域数据。
如图1所示，第k个浮点和相应的定点输入帧以及经过浮点和定点FFT处理后的相应频域信号分别表示为：x(k)＝[x1(k),x2(k),…,xN(k)]T，
最终输出的浮点频域数据为：
其中：矩阵W和
分别表示浮点与定点的FFT运算，矩阵中的元素
优选为wmn均匀量化之后的数值，在其他场合也可采用不同的量化机制实现，本实施例以均匀量化举例。
如图2所示，所述的用于量化和去量化的基于深度学习的神经网络，优选为CNN架构，包括一个输入层、多个隐藏层和一个输出层，该神经网络的输入数据为N×1的一维矩阵Re(x(k))，Im(x(k))，其中Im(x(k))全部设置为零。
所述的隐藏层为三级级联的卷积层实现，本实施例进一步采用修正线性单元(ReLU)作为前两级隐藏层的非线性激活函数以避免消失梯度问题。
在量化与去量化函任务中需要将输出尽可能地二值化，所以在最后一级隐藏层中，使用Sigmoid函数作为激活函数。
本实施例神经网络所采用的损失函数为通过上述端到端量化框架进行最小化归一化均方误差(NMSE)：
优选地，所述的用于量化和去量化的基于深度学习的神经网络的训练过程具体为：
以将数据尽可能二值化。
之后，在给定浮点时间数据x(k)和频率数据y(k)的情况下，所述神经网络经不断训练重新生成得到更新后的网络参数，本实施例中使用训练数据集来不断优化神经网络中的权重。
所述的神经网络在FFT运算的点数N为128的情境下的详细配置和参数如表1所示。
表1网络结构与参数综述
| 量化网络 | DNN | 去量化网络 | DNN |
| 输入层 | 128×1 | 输入层 | 128×1 |
| 隐藏层1 | 512-ReLu | 隐藏层1 | 512-ReLu |
| 隐藏层2 | 512-ReLu | 隐藏层2 | 512-ReLu |
| 隐藏层3 | 1024-Sigmoid | 隐藏层3 | 1024-Sigmoid |
| 输出层 | 128-ReLu | 输出层 | 128-ReLu |
本实施例中首先随机产生10万个不同信号样本，构成一个小的训练数据集。在ground-truth实验中，信号数据才用浮点数x(k)表示方式，相应的进行浮点FFT运算得出精确的频域信号结果y(k)。在基线实验中，所有的信号都按照设定的同一台阶进行均匀量化。本实施例用定点数
表示这些量化信号。
本实施例设置的单词长度是8。相应的进行8位定点FFT运算，得出同样字长的频域信号
在基于机器学习的实验中使用SGD优化器对神经网络进行训练。在所有实验中，初始学习率设置为0.1，阶跃衰减为0.001。
基于pytorch库，然后利用CNN网络提取信号的特征，并用时域和频域数据作为标记，以适应神经网络的输出。该网络会把信号量化为用于基线实验中定点FFT运算的相同的输入字长。
首先本实施例评估定点和浮点FFT的资源消耗，本实施例使用同一块FPGA开发板ZedBoard Zynq-7000测试了定点和浮点FFT模块的资源利用使用情况及其率。如表2所示，本实施例已经列出了这两种计算在LUT和Reg上的消耗。很明显，定点FFT运算在这两个资源的消耗都较少。
表2定点与浮点FFT的资源消耗对比
本实施例的测试集是1000个不同的信号，以及相应的信噪比为0，3，6，9，12，15的信号。考虑到8位定点数的有限表示范围，FFT结果可能超过数据的最大表示范围，因此本实施例将所有采样数据先预处理到范围[-1,1]中，这样完成FFT运算能够有效避免数据溢出。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。
Claims (8)
1.一种神经网络实现端到端的定点快速傅里叶变换量化方法，其特征在于，将浮点时域数据通过基于深度学习的神经网络的量化处理得到相应的定点时域数据，并进一步通过定点快速傅里叶变换得到对应的顶点频域数据，再通过基于深度学习的神经网络的去向量处理得到浮点频域数据。
2.根据权利要求1所述的神经网络实现端到端的定点快速傅里叶变换量化方法，其特征是，第k个浮点和相应的定点输入帧以及经过浮点和定点FFT处理后的相应频域信号分别表示为：x(k)＝[x1(k)，x2(k)，...，xN(k)]T，
最终输出的浮点频域数据为：
其中：矩阵w和
分别表示浮点与定点的FFT运算，矩阵中的元素
优选为wmn均匀量化之后的数值，在其他场合也可采用不同的量化机制实现，本实施例以均匀量化举例。
3.根据权利要求1所述的神经网络实现端到端的定点快速傅里叶变换量化方法，其特征是，所述的神经网络，为CNN架构，包括一个输入层、多个隐藏层和一个输出层，该神经网络的输入数据为N×1的一维矩阵Re(x(k))，Im(x(k))，其中Im(x(k))全部设置为零。
4.根据权利要求3所述的神经网络实现端到端的定点快速傅里叶变换量化方法，其特征是，所述的隐藏层为三级级联的卷积层实现并采用修正线性单元(ReLU)作为前两级隐藏层的非线性激活函数以避免消失梯度问题；最后一级隐藏层中，使用Sigmoid函数作为激活函数。
5.根据权利要求1或3所述的神经网络实现端到端的定点快速傅里叶变换量化方法，其特征是，所述的神经网络所采用的损失函数为最小化归一化均方误差(NMSE)：
其中：Q(·)和
分别表示量化与去量化函数，K是子帧总数，|·|则表示绝对值函数，y(k)、
分别为完成FFT运算后的向量y(k)＝[y1(k)，y2(k)，...，yN(k)]T，
通过，在实数域上的相应FFT过程得到：
其中量化后的时域信号
为：
去量化之后的频域信号
为：
6.根据权利要求1或3所述的神经网络实现端到端的定点快速傅里叶变换量化方法，其特征是，所述的神经网络的训练过程具体为：
以将数据尽可能二值化。
7.根据权利要求1所述的神经网络实现端到端的定点快速傅里叶变换量化方法，其特征是，所述的神经网络具体包括：结构相同的量化网络和去量化网络，均为DNN网络，包括：128×1的输入层、512-ReLu的第一和第二隐藏层以及1024-Sigmoid的第三隐藏层和128-ReLu的输出层。
8.一种实现上述任一权利要求所述方法的端到端的定点快速傅里叶变换架构，包括：分别用于量化和去量化的基于深度学习的神经网络以及定点FFT运算模块，其中：神经网络对量化函数Q(·)和去量化函数
建模，将输入的浮点数据的数组Re(x(k))输入用于量化的神经网络，得到量化完成的数据
和
定点FFT运算模块输出的频域数据
和
输入用于去量化的神经网络得到恢复出的浮点频域数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010380295.5A CN113626756B (zh) | 2020-05-08 | 2020-05-08 | 神经网络实现端到端的定点快速傅里叶变换量化方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010380295.5A CN113626756B (zh) | 2020-05-08 | 2020-05-08 | 神经网络实现端到端的定点快速傅里叶变换量化方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113626756A true CN113626756A (zh) | 2021-11-09 |
| CN113626756B CN113626756B (zh) | 2024-07-05 |
Family
ID=78377033
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010380295.5A Active CN113626756B (zh) | 2020-05-08 | 2020-05-08 | 神经网络实现端到端的定点快速傅里叶变换量化方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113626756B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116719005A (zh) * | 2023-08-10 | 2023-09-08 | 南京隼眼电子科技有限公司 | 基于fpga的定点数据处理方法、装置及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106203624A (zh) * | 2016-06-23 | 2016-12-07 | 上海交通大学 | 基于深度神经网络的矢量量化系统及方法 |
| CN109376843A (zh) * | 2018-10-12 | 2019-02-22 | 山东师范大学 | 基于fpga的脑电信号快速分类方法、实现方法及装置 |
| CN109525292A (zh) * | 2018-12-24 | 2019-03-26 | 东南大学 | 一种采用比特级优化网络的信道信息压缩反馈方法 |
| CN110311876A (zh) * | 2019-06-06 | 2019-10-08 | 天津大学 | 基于深度神经网络的水声正交频分复用接收机的实现方法 |
| US20190378311A1 (en) * | 2018-06-12 | 2019-12-12 | Siemens Healthcare Gmbh | Machine-Learned Network for Fourier Transform in Reconstruction for Medical Imaging |
-
2020
- 2020-05-08 CN CN202010380295.5A patent/CN113626756B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106203624A (zh) * | 2016-06-23 | 2016-12-07 | 上海交通大学 | 基于深度神经网络的矢量量化系统及方法 |
| US20190378311A1 (en) * | 2018-06-12 | 2019-12-12 | Siemens Healthcare Gmbh | Machine-Learned Network for Fourier Transform in Reconstruction for Medical Imaging |
| CN109376843A (zh) * | 2018-10-12 | 2019-02-22 | 山东师范大学 | 基于fpga的脑电信号快速分类方法、实现方法及装置 |
| CN109525292A (zh) * | 2018-12-24 | 2019-03-26 | 东南大学 | 一种采用比特级优化网络的信道信息压缩反馈方法 |
| CN110311876A (zh) * | 2019-06-06 | 2019-10-08 | 天津大学 | 基于深度神经网络的水声正交频分复用接收机的实现方法 |
Non-Patent Citations (1)
| Title |
|---|
| 付强; 姜晶菲; 窦勇: "卷积神经网络低位宽量化推理研究", 计算机与数字工程 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116719005A (zh) * | 2023-08-10 | 2023-09-08 | 南京隼眼电子科技有限公司 | 基于fpga的定点数据处理方法、装置及存储介质 |
| CN116719005B (zh) * | 2023-08-10 | 2023-10-03 | 南京隼眼电子科技有限公司 | 基于fpga的定点数据处理方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113626756B (zh) | 2024-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109543502B (zh) | 一种基于深度多尺度神经网络的语义分割方法 | |
| CN109035149B (zh) | 一种基于深度学习的车牌图像去运动模糊方法 | |
| CN108764317B (zh) | 一种基于多路特征加权的残差卷积神经网络图像分类方法 | |
| CN110533164B (zh) | 一种面向卷积神经网络加速器的Winograd卷积拆分方法 | |
| US20220036167A1 (en) | Sorting method, operation method and operation apparatus for convolutional neural network | |
| CN110189260B (zh) | 一种基于多尺度并行门控神经网络的图像降噪方法 | |
| Xie et al. | Large kernel distillation network for efficient single image super-resolution | |
| CN110866490A (zh) | 一种基于多任务学习的人脸检测方法及装置 | |
| CN111986275A (zh) | 一种多模态半色调图像的逆半色调化方法 | |
| CN113626756B (zh) | 神经网络实现端到端的定点快速傅里叶变换量化方法及系统 | |
| Tsai et al. | Wafer map defect classification with depthwise separable convolutions | |
| CN110782001A (zh) | 一种基于组卷积神经网络使用共享卷积核的改进方法 | |
| CN117744745B (zh) | 一种基于YOLOv5网络模型的图像优化方法及优化系统 | |
| CN113486781B (zh) | 一种基于深度学习模型的电力巡检方法及装置 | |
| CN110619311A (zh) | 一种基于eemd-ica-svm的数据分类方法 | |
| CN113537306A (zh) | 一种基于渐进式成长元学习的图像分类方法 | |
| CN113780523A (zh) | 图像处理方法、装置、终端设备及存储介质 | |
| CN111597925A (zh) | 一种基于dcnn的电力系统暂态信号分析方法 | |
| CN114419341B (zh) | 一种基于迁移学习改进的卷积神经网络图像识别方法 | |
| CN113487550B (zh) | 一种基于改进激活函数的目标检测方法及装置 | |
| CN111414941B (zh) | 一种基于特征复用的点云卷积神经网络 | |
| CN110415190B (zh) | 基于深度学习去除图像压缩噪声的方法、装置及处理器 | |
| CN114155868A (zh) | 语音增强方法、装置、设备及存储介质 | |
| Chu et al. | Similarity based filter pruning for efficient super-resolution models | |
| CN114357211B (zh) | 基于自适应分布均衡特征的对比学习哈希图像检索方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |