CN113626756A - 神经网络实现端到端的定点快速傅里叶变换量化方法及系统 - Google Patents

神经网络实现端到端的定点快速傅里叶变换量化方法及系统 Download PDF

Info

Publication number
CN113626756A
CN113626756A CN202010380295.5A CN202010380295A CN113626756A CN 113626756 A CN113626756 A CN 113626756A CN 202010380295 A CN202010380295 A CN 202010380295A CN 113626756 A CN113626756 A CN 113626756A
Authority
CN
China
Prior art keywords
neural network
quantization
fixed point
point
frequency domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010380295.5A
Other languages
English (en)
Inventor
崔文倩
张舜卿
陈智勇
曹姗
徐树公
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN202010380295.5A priority Critical patent/CN113626756A/zh
Publication of CN113626756A publication Critical patent/CN113626756A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141—Discrete Fourier transforms
    • G06F17/142—Fast Fourier transforms, e.g. using a Cooley-Tukey type algorithm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Discrete Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一种神经网络实现端到端的定点快速傅里叶变换量化方法及系统，将浮点时域数据通过基于深度学习的神经网络的量化处理得到相应的定点时域数据，并进一步通过定点快速傅里叶变换得到对应的顶点频域数据，再通过基于深度学习的神经网络的去向量处理得到浮点频域数据。本发明使用截断方法满足有限字长的要求并方便地节省内存资源，同时通过机器学习方法联合优化信号的量化与去量化过程，不必需各种先验信息就能够完成信号的量化工作，且适用于任何线性运算。

Description

神经网络实现端到端的定点快速傅里叶变换量化方法及系统
技术领域
本发明涉及的是一种信号处理领域的技术，具体是一种适用于正交频分复用系统的神经网络实现端到端的定点快速傅里叶变换量化方法及系统。
背景技术
现代信息通信技术产业是建立在硅基解决方案之上的，由于硅的半导电性，互补金属氧化物半导体(CMOS)集成电路具有很强的二进制信息位表示和计算能力，从而引发了本世纪初的信息革命技术。然而，在现实世界中的感知信号或是采样信号通常不是二进制的，量化问题在过去的几十年里已经被揭示出来。由于量化的分辨率对电路设计的许多方面都有很大的影响，例如面积、速度或功耗，所以量化方案已经被广泛研究。作为通信信号处理领域的基本模块，FFT运算与量化联合设计的研究变得十分有意义。
发明内容
本发明针对现有技术存在的上述不足，提出一种神经网络实现端到端的定点快速傅里叶变换量化方法及系统，使用截断方法满足有限字长的要求并方便地节省内存资源，同时通过机器学习方法联合优化信号的量化与去量化过程，不必需各种先验信息就能够完成信号的量化工作，且适用于任何线性运算。
本发明是通过以下技术方案实现的：
本发明涉及一种神经网络实现端到端的定点快速傅里叶变换量化方法，将浮点时域数据通过基于深度学习的神经网络的量化处理得到相应的定点时域数据，并进一步通过定点快速傅里叶变换(FFT)得到对应的顶点频域数据，再通过基于深度学习的神经网络的去向量处理得到浮点频域数据。
技术效果
本发明整体所解决的技术问题包括：
1)联合量化和信号处理设计问题：目前包括FFT/IFFT的信号处理电路设计，都是基于一些预先定义的位宽要求，这样能够方便与ADC/DACs平滑级联。由于ADC/DACs是为通用信号处理系统设计的，因此目前很少有关于与特定信号处理算法的联合优化问题的研究。
2)联合量化和去量化设计的问题：目前的研究主要集中在量化方面，而去量化方案通常被忽略。但是，如果我们能够从联合量化和去量化的角度清楚地识别出目标的恢复要求，就可以解决定点信号处理中的瓶颈问题，从而能够进一步优化现有的量化/去量化方案。；
与现有技术相比，本发明不使用传统的量化损耗，而是同时考虑浮点和定点信号处理链，并选择上述两种方案之间的端到端信号失真作为性能度量。本发明能够联合测量量化和去量化的质量，并在此基础上进行优化量化和去量化的设计。同时，应用基于机器学习的方法，只要训练数据可用，上述方案就可以适应不同的输入信号，并扩展到其他线性/非线性对称操作。
附图说明
图1为端到端量化框架示意图；
图2为本发明流程示意图；
图3为深度学习网络架构示意图；
图4为指数信号基线与CNN量化结果示意图。
具体实施方式
如图1所示，为本实施例涉及一种基于复数表示的端到端量化框架，输入的浮点数据x(k)需要经过量化网络Q的得到定点量化数据
Figure BDA0002481796750000021
将时域数据进行定点FFT运算后得到频域数据
Figure BDA0002481796750000022
再经过去量化网络
Figure BDA0002481796750000023
恢复成浮点数据
Figure BDA0002481796750000024
所述的端到端量化框架包括：分别用于量化和去量化的基于深度学习的神经网络以及定点FFT运算模块，其中：神经网络对量化函数
Figure BDA0002481796750000025
和去量化函数
Figure BDA0002481796750000026
建模，将输入的浮点数据的数组Re(x(k))输入用于量化的神经网络，得到量化完成的数据
Figure BDA0002481796750000027
和
Figure BDA0002481796750000028
定点FFT运算模块输出的频域数据
Figure BDA0002481796750000029
和
Figure BDA00024817967500000210
输入用于去量化的神经网络得到恢复出的浮点频域数据。
如图1所示，第k个浮点和相应的定点输入帧以及经过浮点和定点FFT处理后的相应频域信号分别表示为：x(k)＝[x1(k),x2(k),…,xN(k)]T，
Figure BDA00024817967500000211
最终输出的浮点频域数据为：
Figure BDA00024817967500000212
Figure BDA00024817967500000213
其中：矩阵W和
Figure BDA00024817967500000214
分别表示浮点与定点的FFT运算，矩阵中的元素
Figure BDA00024817967500000215
Figure BDA00024817967500000216
优选为wmn均匀量化之后的数值，在其他场合也可采用不同的量化机制实现，本实施例以均匀量化举例。
如图2所示，所述的用于量化和去量化的基于深度学习的神经网络，优选为CNN架构，包括一个输入层、多个隐藏层和一个输出层，该神经网络的输入数据为N×1的一维矩阵Re(x(k))，Im(x(k))，其中Im(x(k))全部设置为零。
所述的隐藏层为三级级联的卷积层实现，本实施例进一步采用修正线性单元(ReLU)作为前两级隐藏层的非线性激活函数以避免消失梯度问题。
在量化与去量化函任务中需要将输出尽可能地二值化，所以在最后一级隐藏层中，使用Sigmoid函数作为激活函数。
本实施例神经网络所采用的损失函数为通过上述端到端量化框架进行最小化归一化均方误差(NMSE)：
Figure BDA0002481796750000031
其中：
Figure BDA0002481796750000032
和
Figure BDA0002481796750000033
分别表示量化与去量化函数，K是子帧总数，|·|则表示绝对值函数，y(k)、
Figure BDA0002481796750000034
分别为完成FFT运算后的向量y(k)＝[y1(k),y2(k),…,yN(k)]T，
Figure BDA0002481796750000035
通过，在实数域上的相应FFT过程得到：
Figure BDA0002481796750000036
Figure BDA0002481796750000037
其中量化后的时域信号
Figure BDA0002481796750000038
为：
Figure BDA0002481796750000039
Figure BDA00024817967500000310
去量化之后的频域信号
Figure BDA00024817967500000311
为：
Figure BDA00024817967500000312
Figure BDA00024817967500000313
优选地，所述的用于量化和去量化的基于深度学习的神经网络的训练过程具体为：
Figure BDA00024817967500000314
以将数据尽可能二值化。
之后，在给定浮点时间数据x(k)和频率数据y(k)的情况下，所述神经网络经不断训练重新生成得到更新后的网络参数，本实施例中使用训练数据集来不断优化神经网络中的权重。
所述的神经网络在FFT运算的点数N为128的情境下的详细配置和参数如表1所示。
表1网络结构与参数综述
量化网络 DNN 去量化网络 DNN
输入层 128×1 输入层 128×1
隐藏层1 512-ReLu 隐藏层1 512-ReLu
隐藏层2 512-ReLu 隐藏层2 512-ReLu
隐藏层3 1024-Sigmoid 隐藏层3 1024-Sigmoid
输出层 128-ReLu 输出层 128-ReLu
本实施例中首先随机产生10万个不同信号样本，构成一个小的训练数据集。在ground-truth实验中，信号数据才用浮点数x(k)表示方式，相应的进行浮点FFT运算得出精确的频域信号结果y(k)。在基线实验中，所有的信号都按照设定的同一台阶进行均匀量化。本实施例用定点数
Figure BDA00024817967500000315
表示这些量化信号。
本实施例设置的单词长度是8。相应的进行8位定点FFT运算，得出同样字长的频域信号
Figure BDA0002481796750000041
在基于机器学习的实验中使用SGD优化器对神经网络进行训练。在所有实验中，初始学习率设置为0.1，阶跃衰减为0.001。
基于pytorch库，然后利用CNN网络提取信号的特征，并用时域和频域数据作为标记，以适应神经网络的输出。该网络会把信号量化为用于基线实验中定点FFT运算的相同的输入字长。
首先本实施例评估定点和浮点FFT的资源消耗，本实施例使用同一块FPGA开发板ZedBoard Zynq-7000测试了定点和浮点FFT模块的资源利用使用情况及其率。如表2所示，本实施例已经列出了这两种计算在LUT和Reg上的消耗。很明显，定点FFT运算在这两个资源的消耗都较少。
表2定点与浮点FFT的资源消耗对比
Figure BDA0002481796750000042
本实施例的测试集是1000个不同的信号，以及相应的信噪比为0，3，6，9，12，15的信号。考虑到8位定点数的有限表示范围，FFT结果可能超过数据的最大表示范围，因此本实施例将所有采样数据先预处理到范围[-1,1]中，这样完成FFT运算能够有效避免数据溢出。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (8)

1.一种神经网络实现端到端的定点快速傅里叶变换量化方法，其特征在于，将浮点时域数据通过基于深度学习的神经网络的量化处理得到相应的定点时域数据，并进一步通过定点快速傅里叶变换得到对应的顶点频域数据，再通过基于深度学习的神经网络的去向量处理得到浮点频域数据。
2.根据权利要求1所述的神经网络实现端到端的定点快速傅里叶变换量化方法，其特征是，第k个浮点和相应的定点输入帧以及经过浮点和定点FFT处理后的相应频域信号分别表示为：x(k)＝[x1(k)，x2(k)，...，xN(k)]T，
Figure FDA0002481796740000011
最终输出的浮点频域数据为：
Figure FDA0002481796740000012
其中：矩阵w和
Figure FDA0002481796740000013
分别表示浮点与定点的FFT运算，矩阵中的元素
Figure FDA0002481796740000014
Figure FDA0002481796740000015
优选为wmn均匀量化之后的数值，在其他场合也可采用不同的量化机制实现，本实施例以均匀量化举例。
3.根据权利要求1所述的神经网络实现端到端的定点快速傅里叶变换量化方法，其特征是，所述的神经网络，为CNN架构，包括一个输入层、多个隐藏层和一个输出层，该神经网络的输入数据为N×1的一维矩阵Re(x(k))，Im(x(k))，其中Im(x(k))全部设置为零。
4.根据权利要求3所述的神经网络实现端到端的定点快速傅里叶变换量化方法，其特征是，所述的隐藏层为三级级联的卷积层实现并采用修正线性单元(ReLU)作为前两级隐藏层的非线性激活函数以避免消失梯度问题；最后一级隐藏层中，使用Sigmoid函数作为激活函数。
5.根据权利要求1或3所述的神经网络实现端到端的定点快速傅里叶变换量化方法，其特征是，所述的神经网络所采用的损失函数为最小化归一化均方误差(NMSE)：
Figure FDA0002481796740000016
其中：Q(·)和
Figure FDA00024817967400000110
分别表示量化与去量化函数，K是子帧总数，|·|则表示绝对值函数，y(k)、
Figure FDA0002481796740000017
分别为完成FFT运算后的向量y(k)＝[y1(k)，y2(k)，...，yN(k)]T，
Figure FDA0002481796740000018
通过，在实数域上的相应FFT过程得到：
Figure FDA0002481796740000019
Figure FDA0002481796740000021
其中量化后的时域信号
Figure FDA0002481796740000022
为：
Figure FDA0002481796740000023
Figure FDA0002481796740000024
去量化之后的频域信号
Figure FDA0002481796740000025
为：
Figure FDA0002481796740000026
Figure FDA0002481796740000027
6.根据权利要求1或3所述的神经网络实现端到端的定点快速傅里叶变换量化方法，其特征是，所述的神经网络的训练过程具体为：
Figure FDA0002481796740000028
Figure FDA0002481796740000029
以将数据尽可能二值化。
7.根据权利要求1所述的神经网络实现端到端的定点快速傅里叶变换量化方法，其特征是，所述的神经网络具体包括：结构相同的量化网络和去量化网络，均为DNN网络，包括：128×1的输入层、512-ReLu的第一和第二隐藏层以及1024-Sigmoid的第三隐藏层和128-ReLu的输出层。
8.一种实现上述任一权利要求所述方法的端到端的定点快速傅里叶变换架构，包括：分别用于量化和去量化的基于深度学习的神经网络以及定点FFT运算模块，其中：神经网络对量化函数Q(·)和去量化函数
Figure FDA00024817967400000213
建模，将输入的浮点数据的数组Re(x(k))输入用于量化的神经网络，得到量化完成的数据
Figure FDA00024817967400000210
和
Figure FDA00024817967400000214
定点FFT运算模块输出的频域数据
Figure FDA00024817967400000211
和
Figure FDA00024817967400000212
输入用于去量化的神经网络得到恢复出的浮点频域数据。
CN202010380295.5A 2020-05-08 2020-05-08 神经网络实现端到端的定点快速傅里叶变换量化方法及系统 Pending CN113626756A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010380295.5A CN113626756A (zh) 2020-05-08 2020-05-08 神经网络实现端到端的定点快速傅里叶变换量化方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010380295.5A CN113626756A (zh) 2020-05-08 2020-05-08 神经网络实现端到端的定点快速傅里叶变换量化方法及系统

Publications (1)

Publication Number Publication Date
CN113626756A true CN113626756A (zh) 2021-11-09

Family

ID=78377033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010380295.5A Pending CN113626756A (zh) 2020-05-08 2020-05-08 神经网络实现端到端的定点快速傅里叶变换量化方法及系统

Country Status (1)

Country Link
CN (1) CN113626756A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116719005A (zh) * 2023-08-10 2023-09-08 南京隼眼电子科技有限公司 基于fpga的定点数据处理方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203624A (zh) * 2016-06-23 2016-12-07 上海交通大学 基于深度神经网络的矢量量化系统及方法
CN109376843A (zh) * 2018-10-12 2019-02-22 山东师范大学 基于fpga的脑电信号快速分类方法、实现方法及装置
CN109525292A (zh) * 2018-12-24 2019-03-26 东南大学 一种采用比特级优化网络的信道信息压缩反馈方法
CN110311876A (zh) * 2019-06-06 2019-10-08 天津大学 基于深度神经网络的水声正交频分复用接收机的实现方法
US20190378311A1 (en) * 2018-06-12 2019-12-12 Siemens Healthcare Gmbh Machine-Learned Network for Fourier Transform in Reconstruction for Medical Imaging

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203624A (zh) * 2016-06-23 2016-12-07 上海交通大学 基于深度神经网络的矢量量化系统及方法
US20190378311A1 (en) * 2018-06-12 2019-12-12 Siemens Healthcare Gmbh Machine-Learned Network for Fourier Transform in Reconstruction for Medical Imaging
CN109376843A (zh) * 2018-10-12 2019-02-22 山东师范大学 基于fpga的脑电信号快速分类方法、实现方法及装置
CN109525292A (zh) * 2018-12-24 2019-03-26 东南大学 一种采用比特级优化网络的信道信息压缩反馈方法
CN110311876A (zh) * 2019-06-06 2019-10-08 天津大学 基于深度神经网络的水声正交频分复用接收机的实现方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
付强; 姜晶菲; 窦勇: "卷积神经网络低位宽量化推理研究", 计算机与数字工程 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116719005A (zh) * 2023-08-10 2023-09-08 南京隼眼电子科技有限公司 基于fpga的定点数据处理方法、装置及存储介质
CN116719005B (zh) * 2023-08-10 2023-10-03 南京隼眼电子科技有限公司 基于fpga的定点数据处理方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN109543502B (zh) 一种基于深度多尺度神经网络的语义分割方法
Bonnefoy et al. A dynamic screening principle for the lasso
CN110533164B (zh) 一种面向卷积神经网络加速器的Winograd卷积拆分方法
US20220036167A1 (en) Sorting method, operation method and operation apparatus for convolutional neural network
CN110189260B (zh) 一种基于多尺度并行门控神经网络的图像降噪方法
CN110866490A (zh) 一种基于多任务学习的人脸检测方法及装置
CN113626756A (zh) 神经网络实现端到端的定点快速傅里叶变换量化方法及系统
Pei et al. Multifeature selective fusion network for real-time driving scene parsing
CN115797808A (zh) 一种无人机巡检缺陷图像的识别方法、系统、装置及介质
CN115631186A (zh) 一种基于双分支神经网络的工业元件表面缺陷检测方法
CN110782001A (zh) 一种基于组卷积神经网络使用共享卷积核的改进方法
CN114743133A (zh) 一种轻量化的小样本视频分类识别方法及系统
CN110619311A (zh) 一种基于eemd-ica-svm的数据分类方法
CN113537306A (zh) 一种基于渐进式成长元学习的图像分类方法
CN113780523A (zh) 图像处理方法、装置、终端设备及存储介质
CN111597925A (zh) 一种基于dcnn的电力系统暂态信号分析方法
CN111369477A (zh) 一种针对视频恢复任务的预分析和工具自适应的方法
CN114419341B (zh) 一种基于迁移学习改进的卷积神经网络图像识别方法
CN111797991A (zh) 一种深度网络模型压缩系统、方法及装置
Chu et al. Similarity based filter pruning for efficient super-resolution models
CN115277325B (zh) 一种基于卷积神经网络的psk信号调制识别方法
TW202030647A (zh) 降低類神經網路之運算複雜度的系統與方法
CN113486781B (zh) 一种基于深度学习模型的电力巡检方法及装置
CN113487550B (zh) 一种基于改进激活函数的目标检测方法及装置
CN113436199B (zh) 半监督视频目标分割方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination