CN115208721A - 类Volterra的神经网络均衡器构建方法及系统 - Google Patents

类Volterra的神经网络均衡器构建方法及系统 Download PDF

Info

Publication number
CN115208721A
CN115208721A CN202210719826.8A CN202210719826A CN115208721A CN 115208721 A CN115208721 A CN 115208721A CN 202210719826 A CN202210719826 A CN 202210719826A CN 115208721 A CN115208721 A CN 115208721A
Authority
CN
China
Prior art keywords
equalizer
symbol
volterra
neural network
neuron
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210719826.8A
Other languages
English (en)
Other versions
CN115208721B (zh
Inventor
义理林
黄璐瑶
蒋文清
徐永鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202210719826.8A priority Critical patent/CN115208721B/zh
Publication of CN115208721A publication Critical patent/CN115208721A/zh
Application granted granted Critical
Publication of CN115208721B publication Critical patent/CN115208721B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L25/00—Baseband systems
    • H04L25/02—Details ; arrangements for supplying electrical power along data transmission lines
    • H04L25/03—Shaping networks in transmitter or receiver, e.g. adaptive shaping networks
    • H04L25/03006—Arrangements for removing intersymbol interference
    • H04L25/03165—Arrangements for removing intersymbol interference using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Neurology (AREA)
  • Power Engineering (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)

Abstract

本发明提供了一种类Volterra的神经网络均衡器构建方法及系统，涉及光纤通信中的信道均衡领域，基于Volterra均衡器将神经网络改进并重构为一个低复杂度的均衡器，包括输入层，带线性及非线性激活函数的隐藏层，加权之后输出的输出层。该方法将传统Volterra均衡器的交叉相乘项简化为加权求和后进行二阶、三阶等非线性运算，平衡输入系数与交叉项个数。该均衡器在低复杂度情况下与同等复杂度的Volterra均衡器相比性能更好，在相同性能情况下复杂度更低。

Description

类Volterra的神经网络均衡器构建方法及系统
技术领域
本发明涉及光纤通信中的信道均衡的技术领域，具体地，涉及类Volterra的神经网络均衡器构建方法及系统。
背景技术
近年来，随着5G，VR等新兴技术的发展，全球数据流量快速增长，无源光网络(PON)的速率有了很大提升，从10Gb/s增加到25Gb/s和50Gb/s。50G PON单波长解决方案的标准化工作正在由ITU-T第15研究小组进行。由于PON固有的低成本要求，直接检测技术(IMDD)与数字信号处理(DSP)结合被认为是50Gb/s/λPON有希望的解决方案。因带宽限制、色散(CD)、调制器的调制非线性和光纤非线性而严重退化的高速信号可以通过强大的DSP技术进行补偿。
Volterra均衡器和神经网络(NN)都是有效的均衡器。在不限制复杂性的情况下，Volterra和NN的性能是相当的。然而，由于NN有许多超参数，其复杂性很高，优化也很困难，而Volterra的优化则相对简单。将NN的结构超参数优化以优化后的Volterra为参考，优化的过程变得容易得多，复杂性也会降低。
在公开号为CN112598106A的专利文献中公开了一种基于复数值前向神经网络的复信道均衡器设计方法，涉及人工智能与通信领域。本发明一种基于复数值前向神经网络的复信道均衡器设计方法，包括：采用一种可选择搜索方向训练方法训练复数值前向神经网络，使得目标函数值在每一次训练后都尽可能地减少；所述训练好的复数值前向神经网络作为信道均衡器，用于数字通信系统中。
因此，需要提出一种新的技术方案以改善上述技术问题。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种类Volterra的神经网络均衡器构建方法及系统。
根据本发明提供的一种类Volterra的神经网络均衡器构建方法，所述方法包括如下步骤：
步骤S1：将神经网络的无层级隐藏层节点按照Volterra分层，分为低阶和高阶节点，修改神经网络的激活函数，以加权求和再经过激活函数的形式得到Volterra中含有的高阶项；
步骤S2：将隐藏层输出加权求和，得到均衡器输出；
步骤S3：通过周期性重启的余弦退火学习率优化策略优化均衡器训练过程；
步骤S4：将均衡器预测值与准确值求均方误差MSE，通过反向传播更新均衡器参数，在均衡器收敛后停止训练，并计算训练集与测试集误码率。
优选地，所述步骤S1包括如下步骤：
步骤S11：定义网络结构参数，类Volterra的神经网络均衡器，分为输入层、隐藏层和输出层，输入为符号序列{vk}，其中符号vk为第k个接收符号，隐藏层有n个神经元，代表一共有n阶，第1阶输入中心符号vk前有K1个符号，中心符号vk后有K1个符号，一共有2K1+1个符号输入第1个神经元，第2阶输入中心符号vk前有K2个符号，中心符号vk后有K2个符号，一共有2K2+1个符号输入第2个神经元，第n阶输入中心符号vk前有Kn个符号，中心符号vk后有Kn个符号，一共有2Kn+1个符号输入第n个神经元，规定{Kn}序列大小排序为K1≥K2≥…≥Kn，输入层2K1+1个神经元，隐藏层n个神经元，输出层1个神经元；
步骤S12：隐藏层第一个神经元输出
Figure BDA0003710854830000021
其中激活函数为f1(x)＝x，{cj}为输入符号的权值，b1为偏置，隐藏层第二个神经元输出，
Figure BDA0003710854830000022
Figure BDA0003710854830000023
其中激活函数为f2(x)＝x2，b2为偏置；隐藏层第n个神经元输出，
Figure BDA0003710854830000024
其中激活函数为fn(x)＝xn，bn为偏置。
优选地，所述步骤S2中：
序列{hi}为隐藏层节点权值，序列{si}为隐藏层输出，bn+1为偏置，经过权值矩阵后，输出层输出
Figure BDA0003710854830000025
优选地，所述步骤S3中：
余弦退火曲线即在一个周期的余弦函数基础上加入由最小学习率值跳变为最大学习率的步骤，学习率曲线公式如下：
Figure BDA0003710854830000026
该曲线设置最大值lrmax，最小值lrmin，Tcur表示当前执行迭代次数，T表示设置的重启周期，一个周期开始于学习率处于lrmax处，随着迭代次数epoch的增加余弦值从最大值lrmax缓慢下降，然后加速下降，再次缓慢下降至最小值lrmin，此时一个周期T结束，学习率由lrmin提升至lrmax，下一周期开始，直至均衡器收敛后停止训练。
优选地，所述步骤S3中：
优化方法采用适应性矩估计算法优化，学习率使用周期性重启的余弦退火学习率。
本发明还提供一种类Volterra的神经网络均衡器构建系统，所述系统包括如下模块：
模块M1：将神经网络的无层级隐藏层节点按照Volterra分层，分为低阶和高阶节点，修改神经网络的激活函数，以加权求和再经过激活函数的形式得到Volterra中含有的高阶项；
模块M2：将隐藏层输出加权求和，得到均衡器输出；
模块M3：通过周期性重启的余弦退火学习率优化策略优化均衡器训练过程；
模块M4：将均衡器预测值与准确值求均方误差MSE，通过反向传播更新均衡器参数，在均衡器收敛后停止训练，并计算训练集与测试集误码率。
优选地，所述模块M1包括如下模块：
模块M11：定义网络结构参数，类Volterra的神经网络均衡器，分为输入层、隐藏层和输出层，输入为符号序列{vk}，其中符号vk为第k个接收符号，隐藏层有n个神经元，代表一共有n阶，第1阶输入中心符号vk前有K1个符号，中心符号vk后有K1个符号，一共有2K1+1个符号输入第1个神经元，第2阶输入中心符号vk前有K2个符号，中心符号vk后有K2个符号，一共有2K2+1个符号输入第2个神经元，第n阶输入中心符号vk前有Kn个符号，中心符号vk后有Kn个符号，一共有2Kn+1个符号输入第n个神经元，规定{Kn}序列大小排序为K1≥K2≥…≥Kn，输入层2K1+1个神经元，隐藏层n个神经元，输出层1个神经元；
模块M12：隐藏层第一个神经元输出
Figure BDA0003710854830000031
其中激活函数为f1(x)＝x，{cj}为输入符号的权值，b1为偏置，隐藏层第二个神经元输出，
Figure BDA0003710854830000032
Figure BDA0003710854830000033
其中激活函数为f2(x)＝x2，b2为偏置；隐藏层第n个神经元输出，
Figure BDA0003710854830000034
其中激活函数为fn(x)＝xn，bn为偏置。
优选地，所述模块M2中：
序列{hi}为隐藏层节点权值，序列{si}为隐藏层输出，bn+1为偏置，经过权值矩阵后，输出层输出
Figure BDA0003710854830000035
优选地，所述模块M3中：
余弦退火曲线即在一个周期的余弦函数基础上加入由最小学习率值跳变为最大学习率的模块，学习率曲线公式如下：
Figure BDA0003710854830000041
该曲线设置最大值lrmax，最小值lrmin，Tcur表示当前执行迭代次数，T表示设置的重启周期，一个周期开始于学习率处于lrmax处，随着迭代次数epoch的增加余弦值从最大值lrmax缓慢下降，然后加速下降，再次缓慢下降至最小值lrmin，此时一个周期T结束，学习率由lrmin提升至lrmax，下一周期开始，直至均衡器收敛后停止训练。
优选地，所述模块M3中：
优化系统采用适应性矩估计算法优化，学习率使用周期性重启的余弦退火学习率。
与现有技术相比，本发明具有如下的有益效果：
1、本发明利用加权求和后线性运算
Figure BDA0003710854830000042
代替Volterra均衡器中的非线性交叉项
Figure BDA0003710854830000043
其中{wij}为非线性交叉项的权值，通过增加解空间颗粒度来降低复杂度；
2、本发明不仅降低了传统NN的复杂度，有利于训练更平稳，泛化性相比NN更好，与传统Volterra比也具有优势，在低的相同复杂度情况下能达到比Volterra更好的性能，同等性能水平下，复杂度比Volterra更低。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一个实施例的一种类Volterra的神经网络均衡器的架构图；
图2为本发明一个实施例的一种带有周期重启的余弦退火学习率曲线图；
图3为本发明一个实施例的一种50G C波段PAM4 IMDD PON系统实验架构图；
图4为本发明一个实施例的一种入纤功率与误码率曲线结果图；
图5为本发明一个实施例的一种灵敏度与误码率曲线结果图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例1：
根据本发明提供的一种类Volterra的神经网络均衡器构建方法，方法包括如下步骤：
步骤S1：将神经网络的无层级隐藏层节点按照Volterra分层，分为低阶和高阶节点，修改神经网络的激活函数，以加权求和再经过激活函数的形式得到Volterra中含有的高阶项；
步骤S11：定义网络结构参数，类Volterra的神经网络均衡器，分为输入层、隐藏层和输出层，输入为符号序列{vk}，其中符号vk为第k个接收符号，隐藏层有n个神经元，代表一共有n阶，第1阶输入中心符号vk前有K1个符号，中心符号vk后有K1个符号，一共有2K1+1个符号输入第1个神经元，第2阶输入中心符号vk前有K2个符号，中心符号vk后有K2个符号，一共有2K2+1个符号输入第2个神经元，第n阶输入中心符号vk前有Kn个符号，中心符号vk后有Kn个符号，一共有2Kn+1个符号输入第n个神经元，规定{Kn}序列大小排序为K1≥K2≥…≥Kn，输入层2K1+1个神经元，隐藏层n个神经元，输出层1个神经元；
步骤S12：隐藏层第一个神经元输出
Figure BDA0003710854830000051
其中激活函数为f1(x)＝x，{cj}为输入符号的权值，b1为偏置，隐藏层第二个神经元输出，
Figure BDA0003710854830000052
Figure BDA0003710854830000053
其中激活函数为f2(x)＝x2，b2为偏置；隐藏层第n个神经元输出，
Figure BDA0003710854830000054
其中激活函数为fn(x)＝xn，bn为偏置。
步骤S2：将隐藏层输出加权求和，得到均衡器输出；序列{hi}为隐藏层节点权值，序列{si}为隐藏层输出，bn+1为偏置，经过权值矩阵后，输出层输出
Figure BDA0003710854830000055
Figure BDA0003710854830000056
步骤S3：通过周期性重启的余弦退火学习率优化策略优化均衡器训练过程；余弦退火曲线即在一个周期的余弦函数基础上加入由最小学习率值跳变为最大学习率的步骤，学习率曲线公式如下：
Figure BDA0003710854830000057
该曲线设置最大值lrmax，最小值lrmin，Tcur表示当前执行迭代次数，T表示设置的重启周期，一个周期开始于学习率处于lrmax处，随着迭代次数epoch的增加余弦值从最大值lrmax缓慢下降，然后加速下降，再次缓慢下降至最小值lrmin，此时一个周期T结束，学习率由lrmin提升至lrmax，下一周期开始，直至均衡器收敛后停止训练。优化方法采用适应性矩估计算法优化，学习率使用周期性重启的余弦退火学习率。
步骤S4：将均衡器预测值与准确值求均方误差MSE，通过反向传播更新均衡器参数，在均衡器收敛后停止训练，并计算训练集与测试集误码率。
实施例2：
实施例2为实施例1的优选例，以更为具体地对本发明进行说明。
本发明还提供一种类Volterra的神经网络均衡器构建系统，系统包括如下模块：
模块M1：将神经网络的无层级隐藏层节点按照Volterra分层，分为低阶和高阶节点，修改神经网络的激活函数，以加权求和再经过激活函数的形式得到Volterra中含有的高阶项；
模块M11：定义网络结构参数，类Volterra的神经网络均衡器，分为输入层、隐藏层和输出层，输入为符号序列{vk}，其中符号vk为第k个接收符号，隐藏层有n个神经元，代表一共有n阶，第1阶输入中心符号vk前有K1个符号，中心符号vk后有K1个符号，一共有2K1+1个符号输入第1个神经元，第2阶输入中心符号vk前有K2个符号，中心符号vk后有K2个符号，一共有2K2+1个符号输入第2个神经元，第n阶输入中心符号vk前有Kn个符号，中心符号vk后有Kn个符号，一共有2Kn+1个符号输入第n个神经元，规定{Kn}序列大小排序为K1≥K2≥…≥Kn，输入层2K1+1个神经元，隐藏层n个神经元，输出层1个神经元；
模块M12：隐藏层第一个神经元输出
Figure BDA0003710854830000061
其中激活函数为f1(x)＝x，{cj}为输入符号的权值，b1为偏置，隐藏层第二个神经元输出，
Figure BDA0003710854830000062
Figure BDA0003710854830000063
其中激活函数为f2(x)＝x2，b2为偏置；隐藏层第n个神经元输出，
Figure BDA0003710854830000064
其中激活函数为fn(x)＝xn，bn为偏置。
模块M2：将隐藏层输出加权求和，得到均衡器输出；序列{hi}为隐藏层节点权值，序列{si}为隐藏层输出，bn+1为偏置，经过权值矩阵后，输出层输出
Figure BDA0003710854830000065
Figure BDA0003710854830000066
模块M3：通过周期性重启的余弦退火学习率优化策略优化均衡器训练过程；余弦退火曲线即在一个周期的余弦函数基础上加入由最小学习率值跳变为最大学习率的模块，学习率曲线公式如下：
Figure BDA0003710854830000067
该曲线设置最大值lrmax，最小值lrmin，Tcur表示当前执行迭代次数，T表示设置的重启周期，一个周期开始于学习率处于lrmax处，随着迭代次数epoch的增加余弦值从最大值lrmax缓慢下降，然后加速下降，再次缓慢下降至最小值lrmin，此时一个周期T结束，学习率由lrmin提升至lrmax，下一周期开始，直至均衡器收敛后停止训练。优化系统采用适应性矩估计算法优化，学习率使用周期性重启的余弦退火学习率。
模块M4：将均衡器预测值与准确值求均方误差MSE，通过反向传播更新均衡器参数，在均衡器收敛后停止训练，并计算训练集与测试集误码率。
实施例3：
实施例3为实施例1的优选例，以更为具体地对本发明进行说明。
针对现有技术中的缺陷，本发明所要解决的技术问题在于利用现有Volterra级数对现有NN架构进行重新设计，从而提升NN的训练效果，并简化NN结构，使得相同均衡性能情况下，简化后的均衡器复杂度更低，而在相同复杂度情况下，简化后的均衡器有更好的均衡性能。从而本申请提出一种类Volterra的神经网络结构，由于这种简化结构是基于NN，但是在相同性能情况下，Volterra超参数幅度远远低于NN，因此为凸现该方法的优越性，将该方法与低复杂度高性能的Volterra进行比较。该方法在PON系统中，与Volterra均衡器对比，在均衡性能相似的情况下，它的复杂度更低，并且在有限乘法器和累加器(MACs)的情况下，相同复杂度时，均衡性能优于Volterra均衡器。灵敏度方面，类Volterra神经网络均衡器相比Volterra均衡器有提升，能实现更高的功率预算。
为达到上述目的，本发明提供一种类Volterra的神经网络均衡器构建方法，利用Volterra的非线性项思想简化神经网络，包括如下步骤：
步骤S1：将神经网络的无层级隐藏层节点按照Volterra分层，分为低阶及高阶节点，修改神经网络的激活函数，以加权求和再经过激活函数的形式得到Volterra中含有的高阶项。
步骤S11：定义网络结构参数，类Volterra的神经网络均衡器，分为三层，输入层，隐藏层和输出层，输入为符号序列{vk}，其中符号vk为第k个接收符号，隐藏层有n个神经元，代表一共有n阶，第1阶输入中心符号vk前有K1个符号，中心符号vk后有K1个符号，一共有2K1+1个符号输入第1个神经元，第2阶输入中心符号vk前有K2个符号，中心符号vk后有K2个符号，一共有2K2+1个符号输入第2个神经元，第n阶输入中心符号vk前有Kn个符号，中心符号vk后有Kn个符号，一共有2Kn+1个符号输入第n个神经元，规定{Kn}序列大小排序为K1≥K2≥…≥Kn，输入层2K1+1个神经元，隐藏层n个神经元，输出层1个神经元。
步骤S12：隐藏层第一个神经元输出
Figure BDA0003710854830000081
其中激活函数为f1(x)＝x，{cj}为输入符号的权值，b1为偏置，隐藏层第二个神经元输出，
Figure BDA0003710854830000082
Figure BDA0003710854830000083
其中激活函数为f2(x)＝x2，n2为偏置；隐藏层第n个神经元输出，
Figure BDA0003710854830000084
其中激活函数为fn(x)＝xb，bn为偏置。
步骤S2：将隐藏层输出加权求和，得到均衡器输出。序列{hi}为隐藏层节点权值，序列{si}为隐藏层输出，bn+1为偏置，经过权值矩阵后，输出层输出
Figure BDA0003710854830000085
Figure BDA0003710854830000087
步骤S3：利用周期性重启的余弦退火学习率优化策略优化均衡器训练过程。余弦退火曲线即在一个周期的余弦函数基础上加入由最小学习率值突然跳变为最大学习率的步骤，学习率曲线公式如下
Figure BDA0003710854830000086
该曲线设置最大值lrmax，最小值lrmin，Tcur表示当前执行迭代次数，T表示设置的重启周期，一个周期开始于学习率处于lrmax处，随着迭代次数epoch的增加余弦值从最大值lrmax首先缓慢下降，然后加速下降，再次缓慢下降至最小值lrmin，此时一个周期T结束，然后学习率突然由lrmin提升至lrmax，下一周期开始，直至均衡器收敛后停止训练。训练时，优化方法采用适应性矩估计算法(Adam)优化，学习率使用周期性重启的余弦退火学习率，如图2。
S4：将均衡器预测值与准确值求均方误差(MSE)，利用反向传播更新均衡器参数，在均衡器收敛后停止训练，并计算训练集与测试集误码率。
本发明提出的一种类Volterra的神经网络均衡器，为了验证该均衡器的有效性，在如图1系统中进行验证，该系统为带限C波段直调直检PON系统，系统背靠背3dB带宽为6.11GHz，光源由中心波长为1550nm的分布式反馈激光器(DFB)产生，速率为50Gbps的PAM4电信号由发送端通过任意波形发生器(AWG)产生，经过电放大器(EA)放大后，再由10GHz级别的马赫曾德尔调制器(MZM)调制，同时在DFB上调制抖动电流以展宽中心载波，抑制受功率影响的受激布里渊散射(SBS)效应，掺铒光纤放大器(EDFA)放大信号后，经过20km标准单模光纤(SSMF)传输，再由30GHz级别的雪崩光电探测器(APD)接收后，进行离线的数字信号处理(DSP)，包括同步、重采样、均衡、符号判决和解码等步骤，均衡器的实施步骤如下：
步骤1：实验系统接收数据后，对信号序列进行滑动窗口构造数据集，将数据集分为训练集和测试集，将数据集输入如图2所示的类Volterra的神经网络均衡器进行训练。
步骤2：均衡器根据预测值与实际值均方误差利用后向传播更新均衡器参数，其中更新参数学习率使用周期重启的余弦退火学习率，如图3所示。
步骤21：待训练集和测试集loss曲线均趋于不变(这里常会出现的问题，趋于不变不是个衡量方式，你可以表达趋于不变：|losst-losst-1|＜δ,其中δ是个大于0的常数)，此时表示均衡器收敛，停止训练；
步骤22：将训练好的网络参数固定，计算测试集误码率，作为对均衡器均衡性能的评价结果；
步骤3：将实验系统入纤功率从8dBm每隔2dBm采一次数据直至20dBm，将这些数据输入均衡器计算误码率，在这里讨论了两种情况，一种情况是限制均衡器复杂度下，相同复杂度水平的类Volterra的神经网络均衡器和Volterra的误码率情况；另一种情况是Volterra最佳，类Volterra的神经网络均衡器根据Volterra的超参数架构构造，并观察误码率性能。
步骤4：将实验系统接收功率从-16dBm每隔-1dBm采一次数据至-22dBm，将这些数据输入均衡器计算误码率，讨论的两种情况与入纤曲线类似，一种情况是限制均衡器复杂度下，相同复杂度水平的类Volterra的神经网络均衡器和Volterra的误码率情况；另一种情况是Volterra最佳，类Volterra的神经网络均衡器根据Volterra的超参数架构构造，并观察误码率性能。
本实施例还给出基于该系统的类Volterra的神经网络均衡器的入纤功率以及接收功率实施结果示意图，如图4和5所示。对于入纤功率，在复杂度范围为20-81MACs内，类Volterra的神经网络均衡器误码率均低于Volterra，表明在相同复杂度情况下，类Volterra的神经网络均衡器误码率性能优于Volterra；19MACs的类Volterra的神经网络均衡器性能与复杂度为51MACs的Volterra均衡器，表明在同等性能表现下，类Volterra的神经网络均衡器相比Volterra均衡器，复杂度能够降低62.75％；在不限制复杂度情况下，类Volterra的神经网络均衡器性能不如Volterra均衡器。灵敏度实施结果示意图图5显示，结果趋势与入纤功率曲线一致，在复杂度范围为20-81MACs内，类Volterra的神经网络均衡器误码率均低于Volterra均衡器，表明在相同复杂度情况下，类Volterra的神经网络均衡器的均衡性能优于Volterra均衡器，对于MACs<20的情况，灵敏度提高了1.3-dB。类Volterra的神经网络均衡器在误码率阈值为3.8e-3的情况下可以达到-18.8-dBm的灵敏度；当复杂性不受限制时，它们具有相同的-19.5dBm灵敏度。这是因为在接收功率低的情况下，噪声而不是非线性占主导地位。Volterra均衡器的优势此时并不显著，因为它更擅长补偿非线性失真。
上述技术方案中，在相同复杂度情况下，类Volterra的神经网络均衡器误码率性能优于Volterra均衡器，在同等误码率性能表现下，类Volterra的神经网络均衡器相比Volterra均衡器，复杂度能够降低62.75％，在入纤功率为18dBm的情况下，使用类Volterra的神经网络均衡器(MACs＝107)可以实现37.5dB的系统功率预算。
本实施例所述的一种类Volterra的神经网络均衡器，利用Volterra均衡器架构简化神经网络，无需复杂的结构设计；采用基于周期性重启的余弦退火的学习率优化算法，跳出局部最优解，方法简单，计算效率高；可灵活分配高阶复杂度，权衡输入节点与复杂度的关系，适应多种复杂度的情况。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
本领域技术人员可以将本实施例理解为实施例1、实施例2的更为具体的说明。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种类Volterra的神经网络均衡器构建方法，其特征在于，所述方法包括如下步骤：
步骤S1：将神经网络的无层级隐藏层节点按照Volterra分层，分为低阶和高阶节点，修改神经网络的激活函数，以加权求和再经过激活函数的形式得到Volterra中含有的高阶项；
步骤S2：将隐藏层输出加权求和，得到均衡器输出；
步骤S3：通过周期性重启的余弦退火学习率优化策略优化均衡器训练过程；
步骤S4：将均衡器预测值与准确值求均方误差MSE，通过反向传播更新均衡器参数，在均衡器收敛后停止训练，并计算训练集与测试集误码率。
2.根据权利要求1所述的类Volterra的神经网络均衡器构建方法，其特征在于，所述步骤S1包括如下步骤：
步骤S11：定义网络结构参数，类Volterra的神经网络均衡器，分为输入层、隐藏层和输出层，输入为符号序列{vk}，其中符号vk为第k个接收符号，隐藏层有n个神经元，代表一共有n阶，第1阶输入中心符号vk前有K1个符号，中心符号vk后有K1个符号，一共有2K1+1个符号输入第1个神经元，第2阶输入中心符号vk前有K2个符号，中心符号vk后有K2个符号，一共有2K2+1个符号输入第2个神经元，第n阶输入中心符号vk前有Kn个符号，中心符号vk后有Kn个符号，一共有2Kn+1个符号输入第n个神经元，规定{Kn}序列大小排序为K1≥K2≥…≥Kn，输入层2K1+1个神经元，隐藏层n个神经元，输出层1个神经元；
步骤S12：隐藏层第一个神经元输出
Figure FDA0003710854820000011
其中激活函数为f1(x)＝x，{cj}为输入符号的权值，b1为偏置，隐藏层第二个神经元输出，
Figure FDA0003710854820000012
Figure FDA0003710854820000013
其中激活函数为f2(x)＝x2，b2为偏置；隐藏层第n个神经元输出，
Figure FDA0003710854820000014
其中激活函数为fn(x)＝xn，bn为偏置。
3.根据权利要求1所述的类Volterra的神经网络均衡器构建方法，其特征在于，所述步骤S2中：
序列{hi}为隐藏层节点权值，序列{si}为隐藏层输出，bn+1为偏置，经过权值矩阵后，输出层输出
Figure FDA0003710854820000015
4.根据权利要求1所述的类Volterra的神经网络均衡器构建方法，其特征在于，所述步骤S3中：
余弦退火曲线即在一个周期的余弦函数基础上加入由最小学习率值跳变为最大学习率的步骤，学习率曲线公式如下：
Figure FDA0003710854820000021
该曲线设置最大值lrmax，最小值lrmin，Tcur表示当前执行迭代次数，T表示设置的重启周期，一个周期开始于学习率处于lrmax处，随着迭代次数epoch的增加余弦值从最大值lrmax缓慢下降，然后加速下降，再次缓慢下降至最小值lrmin，此时一个周期T结束，学习率由lrmin提升至lrmax，下一周期开始，直至均衡器收敛后停止训练。
5.根据权利要求1所述的类Volterra的神经网络均衡器构建方法，其特征在于，所述步骤S3中：
优化方法采用适应性矩估计算法优化，学习率使用周期性重启的余弦退火学习率。
6.一种类Volterra的神经网络均衡器构建系统，其特征在于，所述系统包括如下模块：
模块M1：将神经网络的无层级隐藏层节点按照Volterra分层，分为低阶和高阶节点，修改神经网络的激活函数，以加权求和再经过激活函数的形式得到Volterra中含有的高阶项；
模块M2：将隐藏层输出加权求和，得到均衡器输出；
模块M3：通过周期性重启的余弦退火学习率优化策略优化均衡器训练过程；
模块M4：将均衡器预测值与准确值求均方误差MSE，通过反向传播更新均衡器参数，在均衡器收敛后停止训练，并计算训练集与测试集误码率。
7.根据权利要求6所述的类Volterra的神经网络均衡器构建系统，其特征在于，所述模块M1包括如下模块：
模块M11：定义网络结构参数，类Volterra的神经网络均衡器，分为输入层、隐藏层和输出层，输入为符号序列{vk}，其中符号vk为第k个接收符号，隐藏层有n个神经元，代表一共有n阶，第1阶输入中心符号vk前有K1个符号，中心符号vk后有K1个符号，一共有2K1+1个符号输入第1个神经元，第2阶输入中心符号vk前有K2个符号，中心符号vk后有K2个符号，一共有2K2+1个符号输入第2个神经元，第n阶输入中心符号vk前有Kn个符号，中心符号vk后有Kn个符号，一共有2Kn+1个符号输入第n个神经元，规定{Kn}序列大小排序为K1≥K2≥…≥Kn，输入层2K1+1个神经元，隐藏层n个神经元，输出层1个神经元；
模块M12：隐藏层第一个神经元输出
Figure FDA0003710854820000031
其中激活函数为f1(x)＝x，{cj}为输入符号的权值，b1为偏置，隐藏层第二个神经元输出，
Figure FDA0003710854820000032
Figure FDA0003710854820000033
其中激活函数为f2(x)＝x2，b2为偏置；隐藏层第n个神经元输出，
Figure FDA0003710854820000034
其中激活函数为fn(x)＝xn，bn为偏置。
8.根据权利要求6所述的类Volterra的神经网络均衡器构建系统，其特征在于，所述模块M2中：
序列{hi}为隐藏层节点权值，序列{si}为隐藏层输出，bn+1为偏置，经过权值矩阵后，输出层输出
Figure FDA0003710854820000035
9.根据权利要求6所述的类Volterra的神经网络均衡器构建系统，其特征在于，所述模块M3中：
余弦退火曲线即在一个周期的余弦函数基础上加入由最小学习率值跳变为最大学习率的模块，学习率曲线公式如下：
Figure FDA0003710854820000036
该曲线设置最大值lrmax，最小值lrmin，Tcur表示当前执行迭代次数，T表示设置的重启周期，一个周期开始于学习率处于lrmax处，随着迭代次数epoch的增加余弦值从最大值lrmax缓慢下降，然后加速下降，再次缓慢下降至最小值lrmin，此时一个周期T结束，学习率由lrmin提升至lrmax，下一周期开始，直至均衡器收敛后停止训练。
10.根据权利要求6所述的类Volterra的神经网络均衡器构建系统，其特征在于，所述模块M3中：
优化系统采用适应性矩估计算法优化，学习率使用周期性重启的余弦退火学习率。
CN202210719826.8A 2022-06-23 2022-06-23 类Volterra的神经网络均衡器构建方法及系统 Active CN115208721B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210719826.8A CN115208721B (zh) 2022-06-23 2022-06-23 类Volterra的神经网络均衡器构建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210719826.8A CN115208721B (zh) 2022-06-23 2022-06-23 类Volterra的神经网络均衡器构建方法及系统

Publications (2)

Publication Number Publication Date
CN115208721A true CN115208721A (zh) 2022-10-18
CN115208721B CN115208721B (zh) 2024-01-23

Family

ID=83577760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210719826.8A Active CN115208721B (zh) 2022-06-23 2022-06-23 类Volterra的神经网络均衡器构建方法及系统

Country Status (1)

Country Link
CN (1) CN115208721B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101997492A (zh) * 2010-09-29 2011-03-30 东南大学 基于简化模糊神经网络的增强维纳模型的功放预失真方法
CN104486271A (zh) * 2014-11-04 2015-04-01 荆楚理工学院 基于激活函数可调的复值bp神经网络盲均衡方法
CN108667523A (zh) * 2018-03-06 2018-10-16 苏州大学 基于无数据辅助的knn算法的光纤非线性均衡方法
CN109905337A (zh) * 2019-01-13 2019-06-18 浙江大学 一种基于narx神经网络与块状反馈的信道均衡方法
CN110190906A (zh) * 2019-04-15 2019-08-30 浙江工业大学 一种针对高阶qam相干光系统的非线性均衡方法
WO2019191099A1 (en) * 2018-03-26 2019-10-03 Zte Corporation Non-linear adaptive neural network equalizer in optical communication
CN110392006A (zh) * 2019-06-20 2019-10-29 东南大学 基于集成学习和神经网络的自适应信道均衡器及方法
US20200295975A1 (en) * 2019-03-15 2020-09-17 The Research Foundation For The State University Of New York Integrating volterra series model and deep neural networks to equalize nonlinear power amplifiers
CN111796518A (zh) * 2020-06-09 2020-10-20 吉林大学 磁控形状记忆合金执行器位移控制方法
CN111917474A (zh) * 2020-07-22 2020-11-10 北京理工大学 一种隐式三元组神经网络及光纤非线性损伤均衡方法
CN112036543A (zh) * 2020-07-16 2020-12-04 北京大学 神经网络均衡与线性均衡相结合的时域均衡器及均衡方法
CN112887237A (zh) * 2021-03-12 2021-06-01 苏州大学 光纤通信系统的复信道均衡器设计方法
CN114301529A (zh) * 2021-12-31 2022-04-08 杭州电子科技大学 基于多符号处理的Volterra均衡方法及系统
CN114338309A (zh) * 2021-12-21 2022-04-12 上海交通大学 基于深度强化学习优化Volterra均衡器结构的方法和系统
CN114500197A (zh) * 2022-01-24 2022-05-13 华南理工大学 一种可见光通信后均衡方法、系统、装置及存储介质

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101997492A (zh) * 2010-09-29 2011-03-30 东南大学 基于简化模糊神经网络的增强维纳模型的功放预失真方法
CN104486271A (zh) * 2014-11-04 2015-04-01 荆楚理工学院 基于激活函数可调的复值bp神经网络盲均衡方法
CN108667523A (zh) * 2018-03-06 2018-10-16 苏州大学 基于无数据辅助的knn算法的光纤非线性均衡方法
WO2019191099A1 (en) * 2018-03-26 2019-10-03 Zte Corporation Non-linear adaptive neural network equalizer in optical communication
CN109905337A (zh) * 2019-01-13 2019-06-18 浙江大学 一种基于narx神经网络与块状反馈的信道均衡方法
US20200295975A1 (en) * 2019-03-15 2020-09-17 The Research Foundation For The State University Of New York Integrating volterra series model and deep neural networks to equalize nonlinear power amplifiers
CN110190906A (zh) * 2019-04-15 2019-08-30 浙江工业大学 一种针对高阶qam相干光系统的非线性均衡方法
CN110392006A (zh) * 2019-06-20 2019-10-29 东南大学 基于集成学习和神经网络的自适应信道均衡器及方法
CN111796518A (zh) * 2020-06-09 2020-10-20 吉林大学 磁控形状记忆合金执行器位移控制方法
CN112036543A (zh) * 2020-07-16 2020-12-04 北京大学 神经网络均衡与线性均衡相结合的时域均衡器及均衡方法
CN111917474A (zh) * 2020-07-22 2020-11-10 北京理工大学 一种隐式三元组神经网络及光纤非线性损伤均衡方法
CN112887237A (zh) * 2021-03-12 2021-06-01 苏州大学 光纤通信系统的复信道均衡器设计方法
CN114338309A (zh) * 2021-12-21 2022-04-12 上海交通大学 基于深度强化学习优化Volterra均衡器结构的方法和系统
CN114301529A (zh) * 2021-12-31 2022-04-08 杭州电子科技大学 基于多符号处理的Volterra均衡方法及系统
CN114500197A (zh) * 2022-01-24 2022-05-13 华南理工大学 一种可见光通信后均衡方法、系统、装置及存储介质

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
卢瑾;任宏亮;郭淑琴;覃亚丽;胡卫生;: "基于FCM-KNN的相干光环形QAM系统符号判决优化", 光电子・激光, no. 06 *
吴金达;卢瑾;任宏亮;覃亚丽;郭淑琴;胡卫生;: "基于广义回归神经网络的CO-OFDM系统非线性均衡", 光学学报, no. 09 *
邓晓红, 张家树: "神经Chebyshev正交多项式均衡器及自适应算法", 西南交通大学学报, no. 02 *
郭业才;徐冉;: "改进的非线性卫星信道均衡器", 计算机应用, no. 11 *
郭业才;郑梦含;张珊;万逸儒;: "基于非线性Volterra信道的复数神经多项式盲均衡算法", 数据采集与处理, no. 06 *
郭业才;马伟伟;张珊;周润之;: "基于线性MMSE的Volterra信道Turbo均衡算法", 系统仿真学报, no. 11 *

Also Published As

Publication number Publication date
CN115208721B (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
Häger et al. Physics-based deep learning for fiber-optic communication systems
Gaiarin et al. Dual-polarization nonlinear Fourier transform-based optical communication system
Deligiannidis et al. Performance and complexity analysis of bi-directional recurrent neural network models versus volterra nonlinear equalizers in digital coherent systems
Dai et al. LSTM networks enabled nonlinear equalization in 50-Gb/s PAM-4 transmission links
WO2019191099A1 (en) Non-linear adaptive neural network equalizer in optical communication
Da Ros et al. Reservoir-computing based equalization with optical pre-processing for short-reach optical transmission
US11270200B2 (en) Single-step nonlinearity compensation using artificial intelligence for digital coherent transmission systems
Huang et al. Performance and complexity analysis of conventional and deep learning equalizers for the high-speed IMDD PON
Zhang et al. Modulation format identification in heterogeneous fiber-optic networks using artificial neural networks and genetic algorithms
Pesic et al. Transfer learning from unbiased training data sets for QoT estimation in WDM networks
Zhu et al. IM/DD mode division multiplexing transmission enabled by machine learning-based linear and nonlinear MIMO equalization
Neskorniuk et al. Memory-aware end-to-end learning of channel distortions in optical coherent communications
Roumpos et al. High-performance end-to-end deep learning IM/DD link using optics-informed neural networks
Pavel Control design for transient power and spectral control in optical communication networks
Han et al. Simultaneous modulation format identification and OSNR monitoring based on optoelectronic reservoir computing
Kamiyama et al. Neural network nonlinear equalizer in long-distance coherent optical transmission systems
CN115208721B (zh) 类Volterra的神经网络均衡器构建方法及系统
Cai et al. Optical filtering impairment monitoring based on model fusion for optical networks
Li et al. Optical equalization using photonic reservoir computing with optical analog signal injection
Molina-Luna et al. Alternative to Super-PON downstream transmitter using a directly-modulated SOA
Li et al. A low complexity nonlinearity impairment compensation scheme assisted by label propagation algorithm
Wang et al. Low-complexity nonlinear equalizer based on artificial neural network for 112 Gbit/s PAM-4 transmission using DML
Sorokina High bandwidth all-optical fiber-based neuromorphic signal processing
Jovanovic et al. End-to-end learning for fiber-optic communication systems
Fan et al. Channel power equalization based on joint optimization of EDFA and ROADM configuration in open optical network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant