CN113438190A - 神经网络训练方法及装置、mimo均衡器与方法、可读介质 - Google Patents

神经网络训练方法及装置、mimo均衡器与方法、可读介质 Download PDF

Info

Publication number
CN113438190A
CN113438190A CN202110689621.5A CN202110689621A CN113438190A CN 113438190 A CN113438190 A CN 113438190A CN 202110689621 A CN202110689621 A CN 202110689621A CN 113438190 A CN113438190 A CN 113438190A
Authority
CN
China
Prior art keywords
neural network
training
probability
mimo
actual output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110689621.5A
Other languages
English (en)
Other versions
CN113438190B (zh
Inventor
陈杰男
吴其谍
代维杰
陶继云
彭一峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202110689621.5A priority Critical patent/CN113438190B/zh
Publication of CN113438190A publication Critical patent/CN113438190A/zh
Application granted granted Critical
Publication of CN113438190B publication Critical patent/CN113438190B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L25/00—Baseband systems
    • H04L25/02—Details ; arrangements for supplying electrical power along data transmission lines
    • H04L25/03—Shaping networks in transmitter or receiver, e.g. adaptive shaping networks
    • H04L25/03006—Arrangements for removing intersymbol interference
    • H04L25/03165—Arrangements for removing intersymbol interference using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L25/00—Baseband systems
    • H04L25/02—Details ; arrangements for supplying electrical power along data transmission lines
    • H04L25/03—Shaping networks in transmitter or receiver, e.g. adaptive shaping networks
    • H04L25/03891—Spatial equalizers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L25/00—Baseband systems
    • H04L25/02—Details ; arrangements for supplying electrical power along data transmission lines
    • H04L25/03—Shaping networks in transmitter or receiver, e.g. adaptive shaping networks
    • H04L25/03006—Arrangements for removing intersymbol interference
    • H04L2025/0335—Arrangements for removing intersymbol interference characterised by the type of transmission
    • H04L2025/03426—Arrangements for removing intersymbol interference characterised by the type of transmission transmission using multiple-input and multiple-output channels
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Power Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Radio Transmission System (AREA)

Abstract

本发明公开了一种神经网络训练方法及装置、MIMO均衡器与方法、可读介质，应用于MIMO系统中的接收端信号均衡中，包括：初始化全连接神经网络的权重值，采用训练样本集对全连接神经网络进行训练，其中，训练样本集包括：样本输入数据及其对应的标签数据，其中样本输入数据为MIMO接收端的接收信号向量，标签数据为MIMO发射端的发射信号向量；其中，全连接神经网络包括：前向传播器以及基于概率算法搭建的硬件后向训练器。本发明通过在处理器中搭建神经网络的前向传播器，并利用概率计算搭建相应的后向训练硬件电路以替换传统神经网络中的后向训练器，以进一步简化神经网络的硬件架构，减少神经网络训练过程的硬件开销，提高网络训练效率。

Description

神经网络训练方法及装置、MIMO均衡器与方法、可读介质
技术领域
本发明涉及MIMO通信技术领域，尤其是一种神经网络训练方法及装置、MIMO均衡器与方法、可读介质。
背景技术
MMSE(minimum-mean square error)是MIMO系统中常用的均衡方法，MMSE均衡器考虑了噪声的影响，能够有效的解决ZF均衡算法中的噪声放大问题，但在计算上会比ZF复杂。在MMSE均衡器中，会涉及到复杂的矩阵求逆过程。
假设接收端接收到的信号向量为y(Nr×1的向量)，信道矩阵为H(Nr×Nt的矩阵)，发射信号为s(Ntx1的向量)，信道噪声为n，则信道模型为：(Nr：接收端的天线数；Nt：发射端的天线数)
y＝Hs+n
在接收端的MMSE均衡器会按下式进行信道均衡：
Figure BDA0003125703150000011
W＝(HHH+σ2I)-1HH
其中，H是信道矩阵，HH为信道矩阵的共轭转置矩阵，
Figure BDA0003125703150000012
为接收端进行均衡后的接收信号估计值，σ2表示噪声功率。由于发射端和接收端的天线数量不同，导致H不为方阵，进而导致在MMSE均衡中无法求得矩阵的传统逆矩阵，需要求解复杂矩阵HHH+σ2I的广义逆矩阵。
由此可知，传统的MMSE均衡器中广义逆矩阵求解过程运算量较大，且与系数矩阵的尺寸大小有关，其计算复杂度达到O(n3)，其中n为系数矩阵的列宽或者行宽。因此，在大规模MIMO中，由于天线数量的增多导致矩阵尺寸变大，求解广义逆矩阵将会带来极大的开销。目前研究人员提出的关于降低广义逆矩阵求解复杂度的方法大多基于传统的矩阵理论，所获得的增益较小，对于大尺度矩阵的广义逆求解问题依然存在局限性。例如，申请号为2018103680876的中国专利，其公开了一种基于5G通信网络的MIMO检测均衡方法及系统，其通过蚁群算法选择发射信号与接收信号，以减少数据量，从而减少传统MMSE均衡因子(广义逆矩阵)的计算量，但是其并未改变MMSE本身的算法复杂度。
而随着近些年来机器学习研究的不断深入以及相应硬件设施的发展与完善，神经网络技术为进一步降低MIMO检测均衡的复杂度提供了思路。例如，申请号为2017102132352的中国专利，其公开了一种基于正交映射与概率神经网络的可见光信道联合均衡方法，其提出了一种利用概率神经网络(PNN)进行信号检测判决的后置均衡方法，概率神经网络相较于BP神经网络属于有监督学习的神经网络，其训练过程无需迭代相较于BP神经网络训练速率快、训练硬件开销较小，但是概率神经网络基于贝叶斯理论使用了样本属性独立性的假设，所以如果样本属性有关联时其效果不好，且其模型本身的计算复杂度高、空间复杂度高(需要存储全部训练样本，并与全部训练样本进行全局计算)。而BP神经网络采用无监督的训练方法，一旦训练完成所得模型具有更强的非线性映射能力理论上更适合于复杂的MIMO的均衡因子的求解，但是其算法收敛速度慢，训练时间长，且训练过程复杂，训练过程会消耗过多的CPU、GPU等的硬件资源，目前研究人员提出的应用于其他领域的BP神经网络训练方法大多基于训练过程的超参数调整算法，如遗传算法，即通过调整算法对后向训练进行改进以减少训练次数。例如，申请号为2020112432270的中国专利，公开了一种应用于集成电路版图热点检测中的神经网络训练方法，其通过预设调整公式自适应调整学习步长，减少训练次数、提高训练效率，但其整个训练过程还是在集中在CPU、GPU的硬件资源的消耗上，同时其从软件算法层面实际上是提高了单次训练的算法复杂度的，因此会带来单次训练更多的硬件资源的消耗。
发明内容
本发明的目的在于克服现有技术中所存在的应用于MIMO信号均衡中的神经网络训练过程硬件资源开销过大的问题，提供一种神经网络训练方法及装置、MIMO均衡器与方法、可读介质，通过改进后向训练器简化神经网络训练装置的硬件架构，减少神经网络训练过程的硬件开销。
为了实现上述发明目的，本发明提供了以下技术方案：
一种神经网络训练方法，应用于MIMO系统中的接收端信号均衡中，包括：
初始化全连接神经网络的权重值，采用训练样本集对所述全连接神经网络进行训练，其中，所述训练样本集包括：样本输入数据及其对应的标签数据，其中所述样本输入数据为MIMO接收端的接收信号向量，标签数据为MIMO发射端的发射信号向量；
其中，所述全连接神经网络包括：前向传播器以及后向训练器；所述前向传播器用于在每次训练时根据所述样本输入数据生成实际输出向量，以及，将所述实际输出向量输出至所述后向训练器；所述后向训练器为基于概率算法搭建的硬件电路，用于计算所述实际输出向量关于当前网络权重矩阵的偏导数，以及，采用概率算法根据所述实际输出向量、所述偏导数以及所述标签数据生成新的网络权重矩阵，并将所生成的网络权重矩阵反向传播至所述前向传播器以降低所述全连接神经网络的损失函数；
循环执行训练，直到所述全连接神经网络的误差函数满足收敛条件时完成训练。
通常，任何神经网络都需要硬件实现，例如利用GPU等显卡来实现并行乘加法，神经网络的前向传播模块就是一个向量乘一个矩阵加上一个偏置，那么就是一个乘法器和一个加法器，然后后向训练，就是求梯度，再乘加，本质都是乘法器加法器和减法器。本实施通过在处理器中搭建神经网络的前向训练器，并利用概率计算搭建相应的后向训练器硬件电路(在FPGA中实现)，以进一步简化神经网络的硬件架构，减少神经网络训练过程的硬件开销，提高网络训练效率与精度。仅需十次训练即可收敛，得到完成训练的精度较高的应用于MIMO系统中的接收端信号均衡的神经网络。
根据一种具体的实施方式，上述神经网络训练方法中，所述采用概率算法根据所述实际输出向量、所述偏导数以及所述标签数据生成新的网络权重矩阵，包括：
将所述实际输出向量、偏导数以及所述标签数据分别与预设随机数进行比较，根据比较结果得到三个概率比特序列；
通过期望概率函数根据三个所述概率比特序列生成新的网络权重矩阵。
根据一种具体的实施方式，上述神经网络训练方法中，所述预设随机数为Lbit位宽的[0,1]均匀分布随机数，其中，L为基于概率计算的后向训练器中的预设比特位宽以及可逆计数器的位宽，本实施例设定为L＝8。
根据一种具体的实施方式，上述神经网络训练方法中，所述期望概率函数为：
Figure BDA0003125703150000051
式中，E表示求期望，k代表预设的神经网络最大迭代训练次数，P0代表初始概率比特序列的期望初值；i代表第i次训练；ai是由偏导数和所述标签数据通过比较器生成的概率比特序列Di和Ti经过与门得到的，bi是由偏导数和所述实际输出向量通过比较器生成的概率比特序列Di和Fi经过与门得到的；他们的期望的关系满足：
Figure BDA0003125703150000052
Figure BDA0003125703150000053
在本发明进一步的实施例中，还提供一种采用上述神经网络训练方法建立的MIMO均衡器，所述MIMO均衡器为完成训练的全连接神经网络，包括：一个输入层、一个隐藏层、一个输出层。
在本发明进一步的实施例中，还提供一种采用上述MIMO均衡器进行MIMO接收端信号均衡的方法，其特征在于，包括：
接收来自MIMO信道的发射信号，采用所述MIMO均衡器对所接收到的发射信号进行均衡处理，得到发射信号的均衡估计值。
具体的，所述信号均衡方法包括：采用上述神经网络训练方法得到完成训练的全连接神经网络，迁移学习所述完成训练的全连接神经网络的网络权重矩阵，以建立所述MIMO均衡器；以及，接收来自MIMO信道的发射信号，利用所建立的MIMO均衡器对所接收到的发射信号进行均衡处理，得到发射信号的均衡估计值。
通过所建立的神经网络均衡器极大的简化了MIMO信号均衡的计算复杂度，且所述神经网络均衡器能够达到传统MMSE均衡器的均衡精度，利用所得神经网络均衡器进行信号均衡能够极大地提高MIMO信号检测均衡的计算效率。
在本发明进一步的实施例中，还提供一种神经网络训练装置，应用于MIMO系统中的接收端信号均衡中，包括：计算模块以及全连接神经网络；
所述计算模块，用于采用训练样本集对所述全连接神经网络进行训练，并接收所述全连接神经网络的实际输出向量，所述训练样本集包括：样本输入数据以及样本输入数据对应的标签数据，其中所述样本输入数据为MIMO接收端的接收信号向量，标签数据为MIMO发射端的发射信号向量；以及，根据接收到的实际输出向量计算误差函数，判断所述误差函数是否满足收敛条件，若是，则停止训练，若否，则循环执行训练，
所述全连接神经网络包括：前向传播器以及后向训练器；所述前向传播器用于在每次训练时根据所述样本输入数据生成实际输出向量，并将所述实际输出向量与所述偏导数输出至所述后向训练器；所述后向训练器为基于概率算法搭建的硬件电路，用于计算所述实际输出向量关于当前网络权重矩阵的偏导数，以及，采用概率算法根据所述实际输出向量、所述偏导数以及所述标签数据生成新的网络权重矩阵，并将所生成的网络权重矩阵反向传播至所述前向传播器以降低所述全连接神经网络的梯度。
根据一种具体的实施方式，上述神经网络训练装置中，所述后向训练器包括：偏导数计算器，概率比特生成器以及权重矩阵更新器；
所述偏导数计算器，用于计算所述实际输出向量关于当前网络权重矩阵的偏导数，并传输至所述概率比特生成器；
所述概率比特生成器用于将所述实际输出向量、偏导数以及所述标签数据分别与预设随机数进行比较，根据比较结果得到三个概率比特序列；并输出所述概率比特序列至所述权重矩阵更新器；
所述权重矩阵更新器用于通过期望概率函数根据三个所述概率比特序列生成新的网络权重矩阵。
根据一种具体的实施方式，上述神经网络训练装置中，所述后向训练器包括：所述概率比特生成器包括：并联的三路比较器电路；
所述权重更新器包括：两个与门、一个Lbit可逆计数器、一个寄存器、一个随机数发生器以及一个比较器；
所述期望概率函数为：
Figure BDA0003125703150000071
式中，k代表预设的神经网络最大迭代训练次数，P0代表初始概率比特序列的期望初值；i代表第i次训练；ai是由偏导数和所述标签数据通过比较器生成的概率比特序列Di和Ti经过与门得到的，bi是由偏导数和所述实际输出向量通过比较器生成的概率比特序列Di和Fi经过与门得到的。
在本发明进一步的实施例中还提供一种计算机可读存储介质，所述存储介质上存储由计算机程序，所述计算机程序被处理器运行时执行如上述神经网络训练方法的步骤。
与现有技术相比，本发明的有益效果：
1、通过在处理器中搭建神经网络的前向传播器，并利用概率计算搭建相应的后向训练器硬件电路(在FPGA中实现)替换传统神经网络中的基于乘法器、加法器的后向训练器，以进一步简化神经网络的硬件架构，减少神经网络训练过程的硬件开销，提高网络训练效率。
2、本发明仅需十次训练即可得到完成训练的神经网络均衡器，所得神经网络均衡器极大的简化了MIMO信号均衡的计算复杂度，且能够达到传统MMSE均衡器的均衡精度，利用所得神经网络均衡器进行信号均衡能够极大地提高MIMO信号检测均衡的计算效率。
附图说明：
图1为本发明示例性实施例的应用于MIMO信号均衡的神经网络器训练装置原理框图(未示出计算模块)；
图2为本发明示例性实施例的应用于MIMO信号均衡的全连接神经网络结构框图；
图3为本发明示例性实施例的概率比特生成器硬件电路原理图；
图4为本发明示例性实施例的权重矩阵更新器硬件电路原理图；
图5为本发明示例性实施例的应用于MIMO信号均衡的神经网络器训练装置梯度下降示意图；
图6为本发明示例性实施例的神经网络MIMO均衡器仿真结果对比图。
具体实施方式
下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。
实施例1
图1示出了本发明示例性实施例的应用于MIMO信号均衡的神经网络器训练装置原理框图，包括：计算模块与全连接神经网络，全连接神经网络包括：前向传播器以及后向训练器，包括：偏导数计算器、概率比特生成器与权重矩阵更新器；所述前向传播器用于在每次训练时根据所述样本输入数据生成实际输出向量，并所述实际输出向量输出至所述后向训练器；所述后向训练器为基于概率算法搭建的硬件电路，用于计算所述实际输出向量关于当前网络权重矩阵的偏导数，以及，将所述实际输出向量与所述偏导数输出至所述后向训练器；用于采用概率算法根据所述实际输出向量、所述偏导数以及所述标签数据生成新的网络权重矩阵，并将所生成的网络权重矩阵反向传播至所述前向传播器以降低所述全连接神经网络的梯度。通过采用基于概率计算的硬件电路替换传统全连接神经网络的后向训练器，可大大降低均衡中求解广义逆矩阵的计算复杂度，并简化电路结构。
为了说明的清晰，我们下面将按照步骤介绍本发明设计的结合概率计算与神经网络的MIMO均衡器。
第一步：数据集生成
假设待求逆矩阵为H，其大小为Nr×Nt。H的广义逆矩阵为
Figure BDA0003125703150000091
我们构建传统矩阵运算关系如下：
Hs＝y (1)
其中y为接收信号向量，大小为Nr×1；s为发射信号向量，大小为Nt×1。
我们选取了Saleh-Valenzuela(S-V)信道模型展开实验，信号调制方式为4QAM。
在实验中，我们根据信道模型利用MATLAB软件随机生成1000个s发射信号向量，随后将这1000个向量根据式子(1)分别左乘待求逆矩阵H，即可得到1000个y接收信号向量。由此得到的一一对应的1000个向量对即是我们用于神经网络训练的数据集，其中y是神经网络的输入数据，s是神经网络的标签数据。
例如，我们假设一个下行MIMO通信系统(Nt>Nr)，发射端天线数Nt＝32，接收端天线数Nr＝4，则传输Ns＝Nt个数据流，发射信号向量大小为32×1，接收信号向量大小为4×1。
例如，其中一个随机生成的发射信号向量为：
S＝[0.707-0.707i,-0.707-0.707i,-0.707-0.707i,0.707+0.707i,-0.707-0.707i,-0.707-0.707i,0.707+0.707i,0.707+0.707i,-0.707+0.707i,-0.707-0.707i,-0.707+0.707i,0.707+0.707i,0.707-0.707i,0.707+0.707i,0.707+0.707i,0.707-0.707i,-0.707+0.707i,-0.707-0.707i,0.707-0.707i,0.707-0.707i,0.707+0.707i,-0.707+0.707i,0.707-0.707i,-0.707+0.707i,-0.707+0.707i,0.707-0.707i,0.707+0.707i,0.707-0.707i,0.707-0.707i,0.707-0.707i,-0.707+0.707i,0.707+0.707i],
S-V信道矩阵为[4×32]：
Figure BDA0003125703150000101
则根据式子(1)可以得到接收信号向量为：Hs＝y
y＝[-3.10666636988394-4.22358735601697i,8.11902369710368+0.160933619063637i,1.72484665087220+1.58301383496432i,-5.27112391296877+6.61411519011097i].
第二步：神经网络前向传播
我们首先初始化神经网络的权重矩阵W0，并将W0和输入数据y分别输入到图1中的神经网络前向传播器之中。
根据广义逆矩阵的性质可知输入向量y、待求逆矩阵H以及标签向量
Figure BDA0003125703150000111
有下式关系：
Figure BDA0003125703150000112
因此，我们需要根据第一步生成的训练数据集建立全连接神经网络用于神经网络前向传播。在该全连接神经网络中，第一步生成的1000个向量y作为神经网络的输入数据集，1000个向量s作为神经网络训练用的标签数据集。
图2示出了本发明示例性实施例的全连接神经网络前向传播器中的全连接神经网络结构与单个神经元结构，从图2可以看出，我们需要将生成数据集中的1000个向量y与初始化后的权重矩阵W0输入至图1中的神经网络前向传播器，即可得到图1中的输出向量fi，其中i表示第i次训练迭代。
该神经网络为具有一层隐含层的全连接神经网络。每个神经元无激活函数，神经网络的输入为MIMO接收信号向量y，则第i次神经网络前向传播过程所进行的计算如下式：
fi＝Wiy
建立该神经网络的目的即是：以MIMO的发射信号向量s为神经网络的标签数据集，与每一次训练时的神经网络的输出f向量进行比较计算梯度，利用梯度下降的过程迭代训练神经网络的权重矩阵，则可以实现：
Figure BDA0003125703150000113
式中，Error为权重矩阵与广义逆矩阵的误差。当训练完成后，误差收敛到一个极小值，神经网络的权重矩阵就可逼近广义逆矩阵
Figure BDA0003125703150000121
第三步：偏导数计算
偏导数计算器会根据神经网络的输出fi，计算求得fi关于wi的偏导数：
Figure BDA0003125703150000122
第四步：将神经网络输出f、标签向量s以及偏导数
Figure BDA0003125703150000123
转化为概率比特
根据图1，第i次训练得到的神经网络输出向量fi将被输入到概率比特生成器中，同时我们在第一步生成标签数据集s和偏导数也会通过概率比特生成器转化为概率比特。
如图3示出了本发明示例性实施例的概率比特生成器电路图，假设概率比特生成器的输入x为Lbit位宽的二进制码，x输入到比较器当中，与一个Lbit位宽的[0,1]均匀分布的随机数进行比较。若x大于该随机数，则比较器输出概率比特X＝1，否则输出X＝0。因此可以得到输出的概率比特X的期望为：
E(X)＝x
第四步：权重矩阵更新
神经网络的输出fi、标签数据s和偏导数
Figure BDA0003125703150000124
分别经过概率比特生成器转化为概率比特序列Fi、Ti和Di，随后输入到权重矩阵更新器当中来更新并且训练权重矩阵使得损失函数降低。
图4示出了本发明示例性实施例的权重矩阵更新器电路图，包括：两个与门、一个Lbit可逆计数器、一个寄存器、一个随机数发生器以及一个比较器实现。Lbit可逆计数器的计数规则为：
Figure BDA0003125703150000131
可以简化为如下公式：
Ci+1＝Ci+ai-bi
两边分别除以2^-L将其转化为概率：
Pi+1＝Pi+2-L(ai-bi)
假设初始概率为P0，则将上式做累加可得：
Figure BDA0003125703150000132
两边取期望，有：
Figure BDA0003125703150000133
式子(3)即为权重矩阵更新器的数学表征函数。
下面来看传统的神经网络梯度下降过程，与概率计算比较来说明概率计算如何完成梯度下降。
第i次迭代得到的神经网络输出向量fi会与标签数据集s进行比较，我们假设神经网络的损失函数为最小均方误差函数：
L(wi)＝0.5[si-f(wi,yi)]
传统的神经网络梯度下降会利用偏导数计算得到梯度为：
Figure BDA0003125703150000134
Figure BDA0003125703150000135
随后，神经网络会利用梯度和学习率进行梯度下降过程来训练参数：
Figure BDA0003125703150000136
式中，η为其学习率,i为第i次迭代训练，wi为第i次的网络权重，yi为网络输入。
比较(3)式和(4)式，可以发现，两个式子具有高度相关性。因此只需(3)式中的期望E[ai]和E[bi]满足如下式子：
Figure BDA0003125703150000141
Figure BDA0003125703150000142
即可利用概率计算实现梯度下降过程：
Figure BDA0003125703150000143
因此，在图4中，由于输入的三个比特序列Ti，Di，Fi满足如下性质：
E[Ti]＝si
Figure BDA0003125703150000144
E[Fi]＝f(wi,yi)
通过两个与门后，ai和bi的期望即为：
Figure BDA0003125703150000145
Figure BDA0003125703150000146
由此可知，本实施例所提供的后向训练器电路满足神经网络梯度下降计算的数学推导，因而能够利用概率计算实现梯度下降，完成对权重矩阵的训练。从而通过基于概率计算搭建后向训练器电路，可以相较于乘法器、加法器有效减少了网络电路面积，提升硬件效率。图5展示了该结合概率计算与神经网络的MIMO均衡器的训练过程中的损失函数的收敛图，可以发现本申请所提供的全连接神经网络均衡器只需要10次即可使误差函数满足收敛条件(误差小于10-4量级的极小值)收敛，训练效率高、算法复杂度较低，极大地减小了硬件计算资源的开销。
10次迭代训练后，可以得到训练后的神经网络的32x4权重矩阵为：
Figure BDA0003125703150000151
W10与均衡因子将有极小的误差。
实施例2
在本发明进一步的实施例中，我们将本申请实施例1所得的完成训练的全连接神经网络均衡器与传统MMSE均衡器进行误码率仿真，图6示出了两种均衡器在不同信噪比下的误码率对比图。可以发现，本申请所提供的完成训练的神经网络均衡器能够达到传统MMSE均衡器的均衡精度，同时所提供的神经网络均衡器极大的简化了MIMO信号均衡的计算复杂度，利用所得神经网络均衡器进行信号均衡能够极大地提高MIMO信号检测均衡的计算效率。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种神经网络训练方法，其特征在于，应用于MIMO系统中的接收端信号均衡中，包括：
初始化全连接神经网络的权重值，采用训练样本集对所述全连接神经网络进行训练，其中，所述训练样本集包括：样本输入数据及其对应的标签数据，其中所述样本输入数据为MIMO接收端的接收信号向量，标签数据为MIMO发射端的发射信号向量；
其中，所述全连接神经网络包括：前向传播器以及后向训练器；所述前向传播器用于在每次训练时根据所述样本输入数据生成实际输出向量，以及，将所述实际输出向量输出至所述后向训练器；所述后向训练器为基于概率算法搭建的硬件电路，用于计算所述实际输出向量关于当前网络权重矩阵的偏导数，以及，采用概率算法根据所述实际输出向量、所述偏导数以及所述标签数据生成新的网络权重矩阵，并将所生成的网络权重矩阵反向传播至所述前向传播器以降低所述全连接神经网络的损失函数；
循环执行训练，直到所述全连接神经网络的误差函数满足收敛条件时完成训练。
2.根据权利要求1所述的神经网络训练方法，其特征在于，所述采用概率算法根据所述实际输出向量、所述偏导数以及所述标签数据生成新的网络权重矩阵，包括：
将所述实际输出向量、偏导数以及所述标签数据分别与预设随机数进行比较，根据比较结果得到三个概率比特序列；
通过期望概率函数根据三个所述概率比特序列生成新的网络权重矩阵。
3.根据权利要求2所述的神经网络训练方法，其特征在于，所述所述预设随机数为Lbit位宽的[0,1]均匀分布随机数。
4.根据权利要求2所述的神经网络训练方法，其特征在于，所述期望概率函数为：
Figure FDA0003125703140000021
式中，E表示求期望，k代表预设的神经网络最大迭代训练次数，P0代表初始概率比特序列的期望初值；i代表第i次训练；ai是由偏导数和所述标签数据通过比较器生成的概率比特序列Di和Ti经过与门得到的，bi是由偏导数和所述实际输出向量通过比较器生成的概率比特序列Di和Fi经过与门得到的。
5.一种采用权利要求1-4任一所述的神经网络训练方法建立的MIMO均衡器，所述MIMO均衡器为完成训练的全连接神经网络，包括：一个输入层、一个隐藏层、一个输出层。
6.一种采用权利要求5所述的MIMO均衡器进行MIMO接收端信号均衡的方法，其特征在于，包括：
接收来自MIMO信道的发射信号，采用所述MIMO均衡器对所接收到的发射信号进行均衡处理，得到发射信号的均衡估计值。
7.一种神经网络训练装置，其特征在于，应用于MIMO系统中的接收端信号均衡中，包括：计算模块以及全连接神经网络；
所述计算模块，用于采用训练样本集对所述全连接神经网络进行训练，并接收所述全连接神经网络的实际输出向量，所述训练样本集包括：样本输入数据以及样本输入数据对应的标签数据，其中所述样本输入数据为MIMO接收端的接收信号向量，标签数据为MIMO发射端的发射信号向量；以及，根据接收到的实际输出向量计算误差函数，判断所述误差函数是否满足收敛条件，若是，则停止训练，若否，则循环执行训练，
所述全连接神经网络包括：前向传播器以及后向训练器；所述前向传播器用于在每次训练时根据所述样本输入数据生成实际输出向量，并将所述实际输出向量与所述偏导数输出至所述后向训练器；所述后向训练器为基于概率算法搭建的硬件电路，用于用于计算所述实际输出向量关于当前网络权重矩阵的偏导数，以及，采用概率算法根据所述实际输出向量、所述偏导数以及所述标签数据生成新的网络权重矩阵，并将所生成的网络权重矩阵反向传播至所述前向传播器以降低所述全连接神经网络的梯度。
8.如权利要求7所述的神经网络训练装置，其特征在于，所述后向训练器包括偏导数计算器，概率比特生成器以及权重矩阵更新器；
所述偏导数计算器，用于计算所述实际输出向量关于当前网络权重矩阵的偏导数并传输所述偏导数至所述概率比特生成器；
所述概率比特生成器用于将所述实际输出向量、偏导数以及所述标签数据分别与预设随机数进行比较，根据比较结果得到三个概率比特序列；并输出所述概率比特序列至所述权重矩阵更新器；
所述权重矩阵更新器用于通过期望概率函数根据三个所述概率比特序列生成新的网络权重矩阵。
9.如权利要求8所述的神经网络训练装置，其特征在于，所述概率比特生成器包括：并联的三路比较器电路；
所述权重更新器包括：两个与门、一个Lbit可逆计数器、一个寄存器、一个随机数发生器以及一个比较器；
所述期望概率函数为：
Figure FDA0003125703140000041
式中，k代表预设的神经网络最大迭代训练次数，P0代表初始概率比特序列的期望初值；i代表第i次训练；ai是由偏导数和所述标签数据通过比较器生成的概率比特序列Di和Ti经过与门得到的，bi是由偏导数和所述实际输出向量通过比较器生成的概率比特序列Di和Fi经过与门得到的。
10.一种计算机可读存储介质，其特征在于，所述存储介质上存储由计算机程序，所述计算机程序被处理器运行时执行如权利要求1-4任一所述的神经网络训练方法的步骤。
CN202110689621.5A 2021-06-22 2021-06-22 神经网络训练方法及装置、mimo均衡器与方法、可读介质 Active CN113438190B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110689621.5A CN113438190B (zh) 2021-06-22 2021-06-22 神经网络训练方法及装置、mimo均衡器与方法、可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110689621.5A CN113438190B (zh) 2021-06-22 2021-06-22 神经网络训练方法及装置、mimo均衡器与方法、可读介质

Publications (2)

Publication Number Publication Date
CN113438190A true CN113438190A (zh) 2021-09-24
CN113438190B CN113438190B (zh) 2022-09-02

Family

ID=77756902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110689621.5A Active CN113438190B (zh) 2021-06-22 2021-06-22 神经网络训练方法及装置、mimo均衡器与方法、可读介质

Country Status (1)

Country Link
CN (1) CN113438190B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650922A (zh) * 2016-09-29 2017-05-10 清华大学 硬件神经网络转换方法、计算装置、编译方法和神经网络软硬件协作系统
CN109858031A (zh) * 2019-02-14 2019-06-07 北京小米智能科技有限公司 神经网络模型训练、上下文预测方法及装置
CN110799995A (zh) * 2017-06-29 2020-02-14 首选网络株式会社 数据识别器训练方法、数据识别器训练装置、程序及训练方法
WO2020092391A1 (en) * 2018-10-29 2020-05-07 Board Of Regents, The University Of Texas System Low resolution ofdm receivers via deep learning
CN111431565A (zh) * 2020-03-16 2020-07-17 东莞职业技术学院 一种光通信mimo检测方法及系统
CN112491754A (zh) * 2020-11-20 2021-03-12 西华大学 基于ddst及深度学习的信道估计与信号检测方法
CN112990444A (zh) * 2021-05-13 2021-06-18 电子科技大学 一种混合式神经网络训练方法、系统、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650922A (zh) * 2016-09-29 2017-05-10 清华大学 硬件神经网络转换方法、计算装置、编译方法和神经网络软硬件协作系统
CN110799995A (zh) * 2017-06-29 2020-02-14 首选网络株式会社 数据识别器训练方法、数据识别器训练装置、程序及训练方法
WO2020092391A1 (en) * 2018-10-29 2020-05-07 Board Of Regents, The University Of Texas System Low resolution ofdm receivers via deep learning
CN109858031A (zh) * 2019-02-14 2019-06-07 北京小米智能科技有限公司 神经网络模型训练、上下文预测方法及装置
CN111431565A (zh) * 2020-03-16 2020-07-17 东莞职业技术学院 一种光通信mimo检测方法及系统
CN112491754A (zh) * 2020-11-20 2021-03-12 西华大学 基于ddst及深度学习的信道估计与信号检测方法
CN112990444A (zh) * 2021-05-13 2021-06-18 电子科技大学 一种混合式神经网络训练方法、系统、设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
OUSSAMA B. BELKACEM; RAFIK ZAYANI; MOHAMED L. AMMARI; RIDHA BOUA: "Neural network equalization for frequency selective nonlinear MIMO channels", 《2012 IEEE SYMPOSIUM ON COMPUTERS AND COMMUNICATIONS (ISCC)》 *
YIDONG LIU;SITING LIU;YANZHI WANG;FABRIZIO LOMBARDI;JIE HAN: "A Stochastic Computational Multi-Layer Perceptron with Backward Propagation", 《IEEE TRANSACTIONS ON COMPUTERS》 *
蒋浩然: "基于神经网络的并行均衡技术研究与实现", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *
陈杰男: "基于概率计算的无线通信DSP系统高效VLSI实现技术研究", 《中国博士学位论文全文数据库 (信息科技辑)》 *

Also Published As

Publication number Publication date
CN113438190B (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
CN111464465B (zh) 一种基于集成神经网络模型的信道估计方法
CN112600772B (zh) 一种基于数据驱动神经网络的ofdm信道估计与信号检测方法
CN106850013B (zh) 一种上行链路大规模mimo系统的信号检测方法
CN103888391B (zh) 基于双Sigmoid混沌神经网络的信号盲检测方法
CN112637094A (zh) 一种基于模型驱动深度学习的多用户mimo接收方法
Chen et al. Low-complexity precoding design for massive multiuser MIMO systems using approximate message passing
US11909566B2 (en) Method for designing complex-valued channel equalizer
Du et al. Robust online CSI estimation in a complex environment
CN113541747B (zh) 一种大规模mimo检测方法、装置和存储介质
CN112217545B (zh) 一种大规模mimo系统检测模型构建方法
CN114499601B (zh) 一种基于深度学习的大规模mimo信号检测方法
Tan et al. Approximate expectation propagation massive MIMO detector with weighted Neumann-series
CN113438190B (zh) 神经网络训练方法及装置、mimo均衡器与方法、可读介质
CN107222246B (zh) 一种近似mmse性能的高效大规模mimo检测方法及系统
CN102231720B (zh) 样条函数Renyi熵与时间分集融合的小波盲均衡方法
CN111865489B (zh) 基于图神经网络的多输入多输出检测方法
CN101924718B (zh) 模糊神经网络控制的混合小波神经网络盲均衡方法
CN113037409B (zh) 基于深度学习的大规模mimo系统信号检测方法
Yang et al. Reduced-complexity Krylov subspace methods for large-scale MIMO channel estimation
Jang et al. Weighted Gauss-Seidel Precoder for Downlink Massive MIMO Systems.
Ge et al. Unsupervised learning feature estimation for MISO beamforming by using spiking neural networks
CN111193534B (zh) 一种大规模mimo系统中的低复杂度信号检测方法
CN115085779B (zh) 一种大规模mimo系统中接收天线选择与发送功率分配的联合设计方法
Ju et al. A comparative study of deep learning and iterative algorithms for joint channel estimation and signal detection in OFDM systems
CN115395991A (zh) 一种非线性多输入多输出信道估计方法和估计系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant