CN110636020A - 一种自适应通信系统神经网络均衡方法 - Google Patents
一种自适应通信系统神经网络均衡方法 Download PDFInfo
- Publication number
- CN110636020A CN110636020A CN201910716679.7A CN201910716679A CN110636020A CN 110636020 A CN110636020 A CN 110636020A CN 201910716679 A CN201910716679 A CN 201910716679A CN 110636020 A CN110636020 A CN 110636020A
- Authority
- CN
- China
- Prior art keywords
- neural network
- vector
- gradient
- training
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L25/00—Baseband systems
- H04L25/02—Details ; arrangements for supplying electrical power along data transmission lines
- H04L25/03—Shaping networks in transmitter or receiver, e.g. adaptive shaping networks
- H04L25/03006—Arrangements for removing intersymbol interference
- H04L25/03165—Arrangements for removing intersymbol interference using neural networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L25/00—Baseband systems
- H04L25/02—Details ; arrangements for supplying electrical power along data transmission lines
- H04L25/03—Shaping networks in transmitter or receiver, e.g. adaptive shaping networks
- H04L25/03006—Arrangements for removing intersymbol interference
- H04L2025/03433—Arrangements for removing intersymbol interference characterised by equaliser structure
- H04L2025/03439—Fixed structures
- H04L2025/03445—Time domain
- H04L2025/03464—Neural networks
Abstract
本发明提出一种自适应通信系统神经网络均衡方法,考虑到在实际通信场景下器件和信道特性随时间变化这一自适应调整的需求,借助机器学习当中的半监督学习算法,通过设计损失函数来加快模型微调的收敛速度,从而使得基于神经网络的均衡算法灵活性得到极大提升,在信道条件发生变化的情况下通过调整模型来维持较低的误码率。本发明涉及的算法完全不需要发端提供训练序列,而是类似于判决反馈模式,将现有模型的判决作为对应符号的标签,在此基础上设计合适的半监督损失函数并进行学习。
Description
技术领域
本发明属于通信技术领域,涉及新型通信系统中针对神经网络均衡算法进行自适应参数调整的关键技术,具体涉及在借助判决反馈模式进行参数调整的过程中引入数据增强和虚拟对抗训练的技术,以提高神经网络均衡算法的泛化性能,降低通信系统误码率。
背景技术
近年来,随着新兴科技的不断发展,互联网已与人类生活紧密结合在一起。人们对互联网的诉求也远远超越了原先简单的邮件收发、文本图片传送等,取而代之的是随时随地高质量的视频通信、视频下载等高端需求。作为人类通向信息化时代的主要手段,通信技术在人类文明进一步发展的过程中发挥着至关重要的作用。举例来说,在多种主流的通信方式当中,光纤通信承担了主干道与高速公路的角色。经过数十年的发展,光纤通信系统的通信容量已经达到每秒上百Tbit,引领当今社会进入信息时代。作为互联网、云计算和人工智能技术基础设施的数据中心网络,则更离不开光纤通信技术。
为了不断提高通信系统的容量,研究者们做了大量的工作,其中新型的数字信号处理(DSP)技术(主要是新型均衡算法)是改善误码率(BER)性能、提高通信系统传输速率的关键。目前普遍使用的传统均衡算法包括前馈均衡(FFE)、判决反馈均衡(DFE)、最大似然序列估计(MLSE),这些方法借助接收信号和给定的模型,判断发端发送的符号。上述DSP算法都是基于丰富的专家知识来设计的,在某些特定的信道模型下可以证明是最优的算法。然而,实际系统中存在多种非线性效应(如调制非线性和平方律检测),很难借助传统的DSP技术进行均衡。针对这一问题,许多研究人员提出了基于神经网络的均衡算法。由于采用了更加复杂、表达能力更为强大的神经网络模型,新型均衡算法相比于传统方法,达到更好的误码率性能。
然而,当前已经提出的基于神经网络的均衡算法,依赖于充足的线下训练,通信系统上线后,信道发生变化时如何自适应地对模型进行调整仍然是一个难题。
发明内容
本发明针对上述问题,借助机器学习当中的半监督学习算法,针对神经网络均衡器提出了一种普适的自适应参数调整方法,考虑到在实际通信场景下器件和信道特性随时间变化这一自适应调整的需求,本方法针对神经网络均衡算法提出了一种基于半监督学习的在线更新神经网络均衡器参数方案,通过设计损失函数来加快模型微调的收敛速度,从而使得基于神经网络的均衡算法灵活性得到极大提升,在信道条件发生变化的情况下通过调整模型来维持较低的误码率。本发明涉及的算法完全不需要发端提供训练序列,而是类似于判决反馈模式,将现有模型的判决作为对应符号的标签,在此基础上设计合适的半监督损失函数并进行学习。
本发明提出的一种自适应通信系统神经网络均衡方法,包括以下步骤:
1)对于任何一个基于神经网络的均衡器(不论其具体结构如何,是否涉及卷积层或循环层),首先需要在初始的训练集上进行线下训练。线下训练完成后,得到神经网络模型。通信系统上线,此后的均衡和参数调整均在线进行,初始的训练集被抛弃。
2)通信系统上线后,发送端对所要发送的数据段进行编码,同时持续地发送信号;信号经过信道传输,波形发生畸变;接收端用相应器件(如光电二极管)接收,将物理信号转化为电信号,再经过模数转换,变为数字信号,从而可以方便地在计算机内部进行数字信号处理的相关操作。
3)在接收端对电信号进行重采样、零均值标准化,得到接收信号序列;对于某一个符号,将这一符号及其前后L个符号(共2L+1个符号)所对应的接收信号相拼接,作为这一个符号的输入特征向量。
4)每接收一定数量Nb的输入特征向量,就组合成一个batch(批次)的数据,就根据这一个batch的数据对神经网络模型的参数进行在线更新。
5)若发送端完成所有信息的发送,接收端数据处理完毕,则系统可停止运行。
进一步地,步骤3)得到输入特征向量之后,便可以借助神经网络模型对接收信号进行判决,并输出序列中符号属于各个类别的概率,并根据这一概率向量进行分类,从而在接收端得到每个符号分别属于哪一类的判决结果。
整个通信系统的示意图如图1所示;完整的工作流程如图2所示。
进一步地,接收Nb个输入特征向量作为一个batch可以以下面的方式实现:
1)接收到的原始数据经过重采样、零均值标准化之后,可以排成一个序列,每个符号对应Γ个采样点。
2)构建一个长度为Γ(2L+1)的滑动窗口,每次采集2L+1个符号所对应的数据,作为一个输入特征向量。
3)对连续的Nb个特征向量完成采集之后,这Nb个特征向量被组织为一个单独的batch。
借助滑动窗口采集输入特征向量的过程如图3所示。
进一步地,根据第t个batch中的数据对模型参数进行在线更新可以以下面的方式实现:
1)对于第t个batch中的第i个样本v(i),可以计算出损失函数(预先定义好)对模型参数的梯度。
2)遍历该batch中的所有样本,保存所有Nb个样本对应的梯度。
3)将第t个batch中,根据每个样本计算出的梯度(共Nb个)进行加权平均,得到第t个batch对应的梯度gt。
4)根据梯度gt,结合历史梯度信息gt-1、…、g1,计算出实际梯度的估计值,根据梯度下降算法对参数进行微调。梯度下降的步长(也称为学习率)可以是定值(对应朴素的随机梯度下降算法),也可以是自适应的(对应各种自适应学习率的优化算法)。
一个普适的优化算法表达式为:
其中θt代表模型参数,φ(g1,…,gt)代表对实际梯度的估计,前面的因子对应于优化算法的自适应学习率。举例来说,考虑如下三种深度学习领域常见的优化算法:
(1)如果取αt=α,ψ(g1,…,gt)=1以及φ(g1,…,gt)=gt,上述公式对应朴素的随机梯度下降:θt+1=θt-αgt。
对单个batch数据的处理过程如图4所示。
进一步地,针对第i个样本v(i)计算损失函数对模型参数的梯度可以以下面的方式实现:
1)首先对v(i)作数据增强,一般是在v(i)上加入一个噪声向量η。举例来说,可以使η中每个元素满足一个高斯分布:其中σ为高斯分布的均方差。
2)由于这一自适应调整算法不需要训练序列,因此发送端并没有对v(i)提供对应的标签l(i)。为此,必须根据神经网络的判决结果,手动为v(i)赋予一个伪标签l(i)。参考半监督学习算法,这一伪标签可以通过不同方式得到。两个例子:一,直接用神经网络对数据增强后的v(i)进行判决得到l(i);二,将虚拟对抗训练(virtual adversarial training,简记为VAT)与数据增强结合,先计算出对抗扰动radv,将其与v(i)加和作为新的输入特征向量,再用神经网络对这一输入向量进行判决得到l(i)。
3)由第i个样本计算出损失函数的变化。具体来说,损失函数可以采用分类问题中常用的交叉熵(cross-entropy)形式,只不过标签l(i)并非由发送端提供,而是由神经网络内部的判决得到的伪标签,在计算损失函数时直接当作真实标签来使用。损失函数的变化(即为第i个样本对应的损失函数值)具体表示为:
4)在计算出损失函数的基础上,更新第t个batch对应的总梯度:
对单个输入样本的处理流程如图5所示。
值得注意的是,本专利中涉及的损失函数计算方法,实质上是把两种半监督学习领域常见的损失函数计算方法——Π-模型和虚拟对抗训练——相结合而得到的。具体来说,Π-模型的主要思想是借助随机扰动进行数据增强,在训练时优化损失函数的过程,即是希望同一个输入特征向量在不同随机扰动之下得到相同的分类结果;相比之下,虚拟对抗训练不使用随机扰动,而是使用人为计算出的虚拟对抗扰动,一般而言比Π-模型更为有效。在本专利中,既计算了虚拟对抗扰动,又在输入特征向量上加了随机扰动。当然,原则上讲,Π-模型或虚拟对抗训练可以单独使用,但专利中涉及的损失函数构建方式融合了两种方式的优点,能够稳定地降低误码率。另一方面,如果完全不对输入特征向量进行任何扰动,直接对交叉熵形式的损失函数进行优化,这种方式在实现上比较简单,原理与通信领域常用的基于判决反馈的自适应均衡十分类似,但会存在收敛速度极其缓慢的问题,因此并不实用。
进一步地,对于v(i),借助虚拟对抗训练来计算对抗扰动radv可以以下面的方式实现,相比于只使用高斯噪声进行数据增强的方式,引入对抗扰动一般可以加快在线调整参数的收敛速度,性能上更为优越:
2)将向量d与原始输入向量相加,采用这一新的输入特征向量计算损失函数(损失函数的形式仍为交叉熵),并使用反向传播算法计算出损失函数对向量d的梯度。这一梯度记为向量g。
3)虚拟对抗扰动radv的方向与g相同,长度则一般为一较小的值。通过对向量g的长度进行归一化,再乘以给定的值,即可最终得到虚拟对抗扰动radv。
计算虚拟对抗扰动radv的流程如图6所示。
与现有技术相比,本发明的积极效果为:
当前基于神经网络的均衡算法虽然能够在给定数据集上体现出明显优于传统均衡算法的性能,但许多文献表明,基于神经网络的均衡器在泛化性能上比较弱——当信道条件发生变化,误码率会急剧上升。为了解决这一问题,本发明针对基于神经网络的均衡器,实现了一种不需要训练序列、适用性较强的模型参数自适应调整方法;同时,本发明涉及的方法不同于单纯的判决反馈模式——由于引入了数据增强和虚拟对抗训练的技术,在线训练过程的收敛速度得到了明显提升,从而直接降低了系统的误码率。
附图说明
图1为完整通信系统的示意图;
图2为系统工作流程(包含均衡和在线训练)示意图;
图3为用滑动窗口采集单个batch数据的示意图;
图4为单个batch数据的处理过程示意图;
图5为单个输入样本的处理流程示意图;
图6为虚拟对抗扰动向量的计算过程示意图;
图7为具体实施方案中所涉及的光通信系统的示意图。
具体实施方式
根据文献调研,当使用基于神经网络的均衡算法对接收信号进行均衡和判决时,一般需要首先在给定的信道条件下采集大量数据,用这些数据对神经网络进行线下训练。虽然在相关论文中,已经使用基于神经网络的均衡器取得了更好的误码率性能,但基于神经网络的均衡器能否在某些应用场景中取代传统的均衡器仍然是一个问题——神经网络面临的最严重问题是泛化性能弱。在实际通信系统中,系统所处的外部环境以及信道参数均可能发生缓慢变化,导致接收数据的概率分布不同于线下训练阶段所使用的训练集的概率分布。因此,虽然离线训练的神经网络均衡器能够在特定信道条件下获得的测试集上表现出更好的性能,但如果接收数据的分布偏离原始分布时,其性能就会严重下降。以数据中心中的短距离光互连系统为例,当环境温度波动,或光学器件仍处于预热阶段时,就会出现类似的问题。
传统均衡算法通过自适应地微调模型参数来解决这一问题。具体来说,有两种不同的工作模式:训练序列模式和判决反馈模式。使用训练序列意味着发端需要额外发送一段训练序列,对于接收端而言这一段序列是已知的,因此可以借助相应算法对模型参数进行调整;如果工作在判决反馈模式,则接收端会默认现有模型对当前符号的判断是正确的,即认为现有模型的判决结果是正确的,在此基础上调整模型参数。
原则上讲,基于神经网络的均衡器可以工作在训练序列模式。然而,使用标准中规定的较短训练序列对网络进行训练往往会导致其他问题。有文献提出神经网络对于较短序列和伪随机序列容易过拟合,模型在训练序列上准确率很高但用其他数据测试时效果明显变差。另一方面,由于神经网络参数较多,训练过程的收敛速度一般比较缓慢。还必须考虑到,在某些应用场景下,发端提供训练序列的代价较大(有时甚至是不现实的)。因此,针对神经网络均衡算法开发基于判决反馈的自适应参数调整算法是十分必要的。
下面通过实施例,并配合附图说明,对本发明的技术方案作详细的说明。
最近几年,产生大量互联网流量的数据中心引起了人们的极大关注。基于垂直腔面发射激光器和多模光纤(VCSEL-MMF)的短距离光互连链路由于其高容量、低功耗、低成本等优点,将继续成为数据中心网络中应用最广泛的光互连链路。为了提高基于VCSEL-MMF的光通信系统的容量,研究者们做了大量的工作。鉴于此,在本实施例中,主要针对一基于VCSEL-MMF的短距离光互连系统采用本发明提出的一种自适应通信系统神经网络均衡方法,如图7所示。所使用的数据均是在这一实验平台上采集得到的。当然,本方法在其他通信系统(长距光传输系统、无线通信系统)中的应用也是类似的。
本方法采用基于半监督学习的神经网络均衡器参数自适应调整方案,具体包括以下步骤:
一、首先对于给定的基于神经网络的均衡器,在初始的训练集上进行线下训练。
1.原始信号是一个长度为Γ·Ntr的序列,其中Ntr为训练集所包含的符号总数目,Γ为上采样倍数。
2.对于其中第i个符号,输入特征向量包括第i个符号为中心的前后共2L+1个符号,长度为Γ·(2L+1)。用这Ntr个输入特征向量作为网络的输入,对应的Ntr个符号所属类别(即真实的标签。共有M个可能的类别,单个符号属于其中的某一类)作为网络的输出,构建训练用数据集。
3.用确定的训练集,离线训练一个神经网络,用作后续的均衡和判决功能。将输入向量记为v,那么网络输出记为:
o=NNθ(v),
其中o是一个M维的向量,给出了v对应符号属于M个类别的概率。
4.由于是分类问题,训练时所采用的损失函数为交叉熵,公式为:
5.针对神经网络中的权值、偏置(统称为模型参数),借助优化算法(如随机梯度下降算法)对参数进行调整,减小网络在训练集上的损失函数,得到神经网络模型NNθ(·)。
二、通信系统上线后,发送端对所要发送的数据段进行编码,将编码后的信息借助激光器发送。
1.在物理层,接收到的数据已经被转化为比特流,并根据当前系统所使用的调制格式将比特流转化为符号序列(长度记为Nte),生成对应的电信号。
2.使用电信号驱动激光器,转换为可在光纤中传输的光信号。
3.光信号经过光纤传输,到达接收端时波形发生了畸变。因此在接收端需要借助特殊的均衡技术进行信号处理。
三、接收端将经过传输后的光信号转化为电信号,对电信号进行重采样、零均值标准化,此时接收信号形成一个完整的序列。
1.在接收端,一般用光电转换器件(如光电二极管)接收光信号,转化为电信号,经过数字示波器采样,并在数字域进行重采样,得到一个长度为Γ·Nte的序列。其中,Nte代表符号总数,Γ代表重采样倍数。
四、在接收信号序列s’的基础上,借助滑动窗口采集输入特征向量,将Nb个输入特征向量组合为一个batch的数据。
1.建立一个长度为Γ·(2L+1)的滑动窗口,一开始以序列的第一个符号为中心(前面用0补充即可),开始按照时间顺序滑动。
2.每滑动一次,窗口内的向量即为相应符号的输入特征向量,表达如下:
v(i)=[s′i-L,…,s′i,…,s′i+L],
3.窗口滑动Nb次之后,共采集了相邻Nb个符号的输入特征向量。这些特征向量共同组成一个batch的数据。
4.每次收集到一个batch的数据,需要根据这些数据对神经网络模型的参数进行更新。实际上,Nb的数值是此更新算法的超参数,需要事先人为地根据信道变化的快慢来确定。考虑到这一自适应调整算法是应用于在线场景,Nb一般不会取得非常大,因为缓冲区中难以存储如此多的样本;另一方面,Nb也不应当取得过小,这主要有两方面原因:首先,如果Nb过小,单个batch中数据的分布与真实的数据分布就会有明显偏离,相应地计算出的梯度会与真实梯度有偏离,收敛速度会受到影响;其次,频繁地对参数进行更新会导致较高的计算负担,进而影响系统的吞吐率(由于同一个batch中不同的样本可以并行处理,采用稍大的Nb并不会导致运算时间的明显增加)。
以上过程的示意图如图3所示。
五、每接收到一个数据batch(记为第t个batch),遍历batch中的所有输入特征向量v(i),计算损失函数对模型参数的梯度gt,并结合历史梯度信息,进行梯度下降,微调参数。
1.开始处理单个batch的数据时,初始化损失函数L=0,初始化全零向量gt用于记录损失函数对模型参数的梯度。
2.遍历batch中的所有输入特征向量v(i),借助一定的方式为v(i)赋予一个伪标签l(i),表明当前神经网络将v(i)判决为属于第l(i)类(l(i)∈{1,…,M})。赋予伪标签的具体方法在下一部分会详细介绍。
3.针对样本v(i),更新损失函数:
其中l(i)代表算法赋予样本v(i)的伪标签。一般而言,如果神经网络模型的准确率比较高(当前信道条件下,接收信号的概率分布与训练集比较接近),这一伪标签有很大概率是正确的;但伪标签有较小概率不是正确的,因此相比于使用真实的分类标签(即发送端提供符号所属的类别),在模型微调的收敛速度上会稍慢。
4.借助反向传播算法,求解损失函数变化量ΔL对模型参数的梯度,并累加到gt上。对于复杂的模型,手动计算梯度是比较困难的,一般借助开源的深度学习框架(如tensorflow、pytorch等)来实现。成熟的框架中,一般已经实现了自动借助反向传播算法求梯度的功能。
5.计算得到gt之后,便可以采用预先定义好的优化方法,基于梯度下降对网络模型参数进行微调,达到减小损失函数、提升分类准确率的目的。使用何种优化方法是自由的,参数微调方法可以普遍地表达为:
其中θt代表模型参数,φ(g1,…,gt)代表对实际梯度的估计,这一估计是基于当前梯度和历史梯度信息。一种最简单的估计方式是,直接对历史梯度求取加权平均值:
其中β是一个常数,控制求平均值时的权值大小。
前面的因子对应于优化算法的自适应学习率,一种最简单的方式是取ψ(g1,…,gt)=1,这样学习率就不会发生自适应变化。值得注意的是,采用不同的优化器对于模型微调过程的收敛速度会有一定影响,在实际使用中需要根据情况选择合适的优化器。
6.根据这一batch的数据对模型进行微调之后,继续接收并处理后续的batch,直到接收的所有数据都被处理完毕。
对于分类问题,损失函数一般是交叉熵形式:
方式1:仅做数据增强。
实践表明,在训练阶段对输入数据进行数据增强,可以提升神经网络的鲁棒性,并且一般能够加快训练过程的收敛速度。数据增强通常通过给输入特征向量加一个较小的噪声来实现。举例来说,将数据增强过程用函数g(·)表示。一种简单可靠的数据增强方式是在输入特征向量上加一高斯噪声:
神经网络输出的概率向量为:
o=NN(g(v)),
o的维度是M,代表输入特征向量v属于各个类别的概率(在网络内部已经进行了归一化)。根据这一输出的概率向量,可以得到网络对v的分类结果为:
l=arg maxkok,
即向量v所对应的符号大概率属于第l类。考虑到这一判断结果有很大概率是正确的,那么类似于判决反馈模式,可以将这一伪标签l当作真实标签,代入到损失函数的表达式中进行计算。
值得注意的是,如果不进行数据增强,该方法的收敛速度会明显变慢,并将直接导致误码率增大。
方式2:将数据增强与虚拟对抗训练相结合。
首先对于给定的单个样本v,需要计算对抗扰动向量radv,步骤如下:
步骤1:生成一个向量d,d的维度与输入特征向量维度相同,并且每一维相互独立,服从均方差为σ的零均值高斯分布。
步骤2:将d叠加在输入向量上,用交叉熵来衡量NN(v+d)与NN(v)这两个概率向量的差异,并求这一交叉熵对向量d的梯度,记为g。
步骤3:如果在向量g对应的方向对输入进行扰动,那么与未扰动时相比,神经网络的输出将会明显改变。将向量g长度归一化,再乘以一个较小的给定值,即可最终得到虚拟对抗扰动radv。基本的训练思路是,希望在输入特征向量上加入扰动radv后,神经网络的判决不会受到明显影响。
加入对抗扰动之后,神经网络的输出概率向量为:
oadv=NN(g(v+radv)),
类似于方式1中的概率向量o,此处oadv的维度是M,代表输入特征向量v属于各个类别的概率。根据这一输出的概率向量,可以得到网络对v的分类结果(引入对抗扰动之后)为:
ladv=arg maxkoadv,k,
类似于方式1,可以将这一伪标签ladv当作真实标签,代入到损失函数的表达式中进行计算。
值得一提的是,实践表明,如果只使用虚拟对抗训练技术而不同时引入数据增强,训练过程的收敛速率以及相应的误码率与使用高斯噪声进行数据增强相比并没有明显的提升;如果在引入虚拟对抗扰动的基础上再使用噪声进行数据增强,则误码率会有稳定的提升。这里给出的方式2实际上是方式1的改进版本。一般而言采用方式2时,神经网络模型的训练收敛速度会稍快,性能稳定优于方式1。然而采用方式2的代价是,在计算对抗扰动向量时需要先额外使用一次反向传播,因此计算复杂度大约是方式1的两倍。
最终,发送端完成所有信息的发送,接收端对所有的batch都处理完毕,可以进行后续的信息处理。
以上实施例仅用以说明本发明的技术方案而非对其进行限制,本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明的精神和范围,本发明的保护范围应以权利要求书所述为准。
Claims (10)
1.一种自适应通信系统神经网络均衡方法,包括以下步骤:
利用初始的训练集对一个基于神经网络的均衡器进行线下训练,训练完成后得到神经网络模型;
通信系统在线接收经过信道传输的物理信号,并转化为电信号,对电信号进行重新采样和零均值标准化,得到接收信号序列;
针对接收信号序列,将当中的任一符号及其前后L个符号所对应的接收信号相拼接,作为该符号的输入特征向量;
每接收Nb的输入特征向量,利用滑动窗口组合为一个batch的数据;
遍历每个batch的数据中的所有输入特征向量,计算损失函数对神经网络模型的模型参数的梯度,基于梯度下降调整模型参数;
利用调整好模型参数的神经网络模型继续处理后续的batch的数据,直到将接收到的所有数据处理完毕。
2.如权利要求1所述的方法,其特征在于,初始的训练集的构建方法为:对于一个长度为Γ·Ntr的序列的原始信号,其中Γ为上采样倍数,Ntr为训练集所包含的符号总数目;其中第i个符号的输入特征向量包括以第i个符号为中心的前后共2L+1个符号,长度为Γ·(2L+1);用该Ntr个输入特征向量作为网络的输入,对应的Ntr个符号所属类别作为网络的输出,构建初始的数据集。
4.如权利要求1所述的方法,其特征在于,对电信号进行重新采样的方法为:利用数字示波器对电信号进行采用,并在数字域进行重采样。
6.如权利要求1所述的方法,其特征在于,每接收Nb的输入特征向量,利用滑动窗口组合为一个batch的数据,步骤如下:
对于接收信号序列,每个符合对应Γ个采样点,建立一个长度为Γ(2L+1)的滑动窗口,开始时以序列的第一个符号为中心,按照时间顺序滑动;每滑动一次,窗口内的向量即为相应符号的输入特征向量,表达式为v(i)=[s′i-L,…,s′i,…,s′i+L];
窗口滑动Nb次之后共采集了相邻Nb个符号的输入特征向量,将这些输入特征向量共同组成一个batch的数据。
8.如权利要求7所述的方法,其特征在于,赋予伪标签的方法包括如下两种:
一种是仅做数据增强:在训练阶段,给输入特征向量加入一给定的噪声,得到增强的神经网络输出的概率向量,进而得到伪标签;
另一种是将数据增强与虚拟对抗训练相结合:
首先对于给定的单个样本v,生成一个向量d,d的维度与输入特征向量维度相同,并且每一维相互独立,服从均方差为σ的零均值高斯分布;
将d叠加在输入特征向量上,用交叉熵来衡量NN(v+d)与NN(v)这两个概率向量的差异,并求这一交叉熵对向量d的梯度,记为g;
将向量g长度归一化,再乘以一个给定值,即可最终得到虚拟对抗扰动向量radv;
将对抗扰动向量加入到特征输入向量中,得到增强的神经网络输出的概率向量,进而得到伪标签。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910716679.7A CN110636020B (zh) | 2019-08-05 | 2019-08-05 | 一种自适应通信系统神经网络均衡方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910716679.7A CN110636020B (zh) | 2019-08-05 | 2019-08-05 | 一种自适应通信系统神经网络均衡方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110636020A true CN110636020A (zh) | 2019-12-31 |
CN110636020B CN110636020B (zh) | 2021-01-19 |
Family
ID=68969059
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910716679.7A Active CN110636020B (zh) | 2019-08-05 | 2019-08-05 | 一种自适应通信系统神经网络均衡方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110636020B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111523045A (zh) * | 2020-03-09 | 2020-08-11 | 浙江工业大学 | 一种协同过滤推荐方法 |
CN111917474A (zh) * | 2020-07-22 | 2020-11-10 | 北京理工大学 | 一种隐式三元组神经网络及光纤非线性损伤均衡方法 |
CN111988249A (zh) * | 2020-07-16 | 2020-11-24 | 北京大学 | 一种基于自适应神经网络的接收端均衡方法及接收端 |
CN112016097A (zh) * | 2020-08-28 | 2020-12-01 | 重庆文理学院 | 一种预测网络安全漏洞被利用时间的方法 |
CN112381122A (zh) * | 2020-10-29 | 2021-02-19 | 北京大学 | 一种自适应机器学习均衡方法及通信系统 |
CN112887237A (zh) * | 2021-03-12 | 2021-06-01 | 苏州大学 | 光纤通信系统的复信道均衡器设计方法 |
CN113128323A (zh) * | 2020-01-16 | 2021-07-16 | 中国矿业大学 | 一种基于协同进化卷积神经网络学习的遥感图像分类方法及装置 |
CN113128668A (zh) * | 2021-04-07 | 2021-07-16 | 中山大学 | 数据中心网络中一种兼顾高吞吐和公平性的链路调度方法 |
WO2021217519A1 (zh) * | 2020-04-29 | 2021-11-04 | 华为技术有限公司 | 用于调整神经网络的方法和装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102064798A (zh) * | 2010-12-17 | 2011-05-18 | 北京大学 | 一种负反馈自适应在线实时滤波方法及系统 |
US20150249554A1 (en) * | 2013-06-21 | 2015-09-03 | Dhadesugoor Vaman | Adaptive demodulation method and apparatus using an artificial neural network to improve data recovery in high speed channels |
CN106650786A (zh) * | 2016-11-14 | 2017-05-10 | 沈阳工业大学 | 基于多列卷积神经网络模糊评判的图像识别方法 |
CN107358264A (zh) * | 2017-07-14 | 2017-11-17 | 深圳市唯特视科技有限公司 | 一种基于机器学习算法进行图像分析的方法 |
CN108650201A (zh) * | 2018-05-10 | 2018-10-12 | 东南大学 | 基于神经网络的信道均衡方法、译码方法及对应设备 |
CN108764281A (zh) * | 2018-04-18 | 2018-11-06 | 华南理工大学 | 一种基于半监督自步学习跨任务深度网络的图像分类方法 |
CN109787715A (zh) * | 2018-12-18 | 2019-05-21 | 中国科学院深圳先进技术研究院 | Scma系统的dnn解码方法及解码通信设备 |
CN110059720A (zh) * | 2019-03-18 | 2019-07-26 | 西北大学 | 用于在非均衡数据集上训练深度神经网络的方法及结构 |
-
2019
- 2019-08-05 CN CN201910716679.7A patent/CN110636020B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102064798A (zh) * | 2010-12-17 | 2011-05-18 | 北京大学 | 一种负反馈自适应在线实时滤波方法及系统 |
US20150249554A1 (en) * | 2013-06-21 | 2015-09-03 | Dhadesugoor Vaman | Adaptive demodulation method and apparatus using an artificial neural network to improve data recovery in high speed channels |
CN106650786A (zh) * | 2016-11-14 | 2017-05-10 | 沈阳工业大学 | 基于多列卷积神经网络模糊评判的图像识别方法 |
CN107358264A (zh) * | 2017-07-14 | 2017-11-17 | 深圳市唯特视科技有限公司 | 一种基于机器学习算法进行图像分析的方法 |
CN108764281A (zh) * | 2018-04-18 | 2018-11-06 | 华南理工大学 | 一种基于半监督自步学习跨任务深度网络的图像分类方法 |
CN108650201A (zh) * | 2018-05-10 | 2018-10-12 | 东南大学 | 基于神经网络的信道均衡方法、译码方法及对应设备 |
CN109787715A (zh) * | 2018-12-18 | 2019-05-21 | 中国科学院深圳先进技术研究院 | Scma系统的dnn解码方法及解码通信设备 |
CN110059720A (zh) * | 2019-03-18 | 2019-07-26 | 西北大学 | 用于在非均衡数据集上训练深度神经网络的方法及结构 |
Non-Patent Citations (1)
Title |
---|
郭业才: "《模糊神经网络控制的混合小波神经网络盲均衡算法》", 《电子学报》 * |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113128323A (zh) * | 2020-01-16 | 2021-07-16 | 中国矿业大学 | 一种基于协同进化卷积神经网络学习的遥感图像分类方法及装置 |
CN113128323B (zh) * | 2020-01-16 | 2023-08-18 | 中国矿业大学 | 一种基于协同进化卷积神经网络学习的遥感图像分类方法及装置 |
CN111523045A (zh) * | 2020-03-09 | 2020-08-11 | 浙江工业大学 | 一种协同过滤推荐方法 |
WO2021217519A1 (zh) * | 2020-04-29 | 2021-11-04 | 华为技术有限公司 | 用于调整神经网络的方法和装置 |
CN111988249A (zh) * | 2020-07-16 | 2020-11-24 | 北京大学 | 一种基于自适应神经网络的接收端均衡方法及接收端 |
CN111988249B (zh) * | 2020-07-16 | 2023-01-17 | 北京大学 | 一种基于自适应神经网络的接收端均衡方法及接收端 |
CN111917474B (zh) * | 2020-07-22 | 2022-07-29 | 北京理工大学 | 一种隐式三元组神经网络及光纤非线性损伤均衡方法 |
CN111917474A (zh) * | 2020-07-22 | 2020-11-10 | 北京理工大学 | 一种隐式三元组神经网络及光纤非线性损伤均衡方法 |
CN112016097A (zh) * | 2020-08-28 | 2020-12-01 | 重庆文理学院 | 一种预测网络安全漏洞被利用时间的方法 |
CN112016097B (zh) * | 2020-08-28 | 2024-02-27 | 深圳泓越信息科技有限公司 | 一种预测网络安全漏洞被利用时间的方法 |
CN112381122A (zh) * | 2020-10-29 | 2021-02-19 | 北京大学 | 一种自适应机器学习均衡方法及通信系统 |
CN112381122B (zh) * | 2020-10-29 | 2022-10-14 | 北京大学 | 一种自适应机器学习均衡方法及通信系统 |
CN112887237A (zh) * | 2021-03-12 | 2021-06-01 | 苏州大学 | 光纤通信系统的复信道均衡器设计方法 |
CN113128668A (zh) * | 2021-04-07 | 2021-07-16 | 中山大学 | 数据中心网络中一种兼顾高吞吐和公平性的链路调度方法 |
CN113128668B (zh) * | 2021-04-07 | 2023-07-25 | 中山大学 | 数据中心网络中一种兼顾高吞吐和公平性的链路调度方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110636020B (zh) | 2021-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110636020B (zh) | 一种自适应通信系统神经网络均衡方法 | |
CN108650201B (zh) | 基于神经网络的信道均衡方法、译码方法及对应设备 | |
CN112381122B (zh) | 一种自适应机器学习均衡方法及通信系统 | |
Zhou et al. | AdaNN: Adaptive neural network-based equalizer via online semi-supervised learning | |
CN109039472A (zh) | 一种基于深度学习的数据中心光通信色散估计与管理方法 | |
CN109905170A (zh) | 一种基于k-dnn的非线性失真补偿算法及可见光通信装置 | |
US9363110B2 (en) | Apparatus and methods for estimating optical Ethernet data sequences | |
CN112036543B (zh) | 神经网络均衡与线性均衡相结合的时域均衡器及均衡方法 | |
CN108494488B (zh) | 用于短距离光通信系统的基于dfe的svm均衡方法 | |
CN112733917B (zh) | 一种基于shap特征优化的信道均衡方法 | |
CN113381828B (zh) | 基于条件生成对抗网络的稀疏码多址接入随机信道建模方法 | |
Karanov et al. | Deep learning for communication over dispersive nonlinear channels: performance and comparison with classical digital signal processing | |
CN109818889B (zh) | 用于高阶pam光传输系统中的svm分类器优化的均衡算法 | |
CN111313971A (zh) | 一种用于IMDD短距离光通信系统改进的Lightgbm均衡系统及方法 | |
CN115374853A (zh) | 基于T-Step聚合算法的异步联邦学习方法及系统 | |
CN115549805A (zh) | 基于poe-vlc系统的自适应均衡方法及vlc接收器 | |
An et al. | A learning-based end-to-end wireless communication system utilizing a deep neural network channel module | |
CN111988249B (zh) | 一种基于自适应神经网络的接收端均衡方法及接收端 | |
CN112422208B (zh) | 未知信道模型下基于对抗式学习的信号检测方法 | |
He et al. | Delay-tolerant indoor optical wireless communication systems based on attention-augmented recurrent neural network | |
CN113887806B (zh) | 长尾级联流行度预测模型、训练方法及预测方法 | |
Zhang et al. | Deep Deterministic Policy Gradient for End-to-End Communication Systems without Prior Channel Knowledge | |
CN107836100A (zh) | 用于使用稀疏不连续的时域导频的低复杂度isi估计的方法和装置 | |
CN110474798A (zh) | 一种利用回声状态网络预测无线通信未来信号的方法 | |
CN114124223B (zh) | 一种卷积神经网络光纤均衡器生成方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |