CN110233661B - 长短期记忆神经网络训练方法，信道参数调整系统及方法 - Google Patents

Abstract

本发明公开了一种在通信领域训练长短期记忆神经网络的方法，包含执行该方法的指令的计算机可读存储介质和计算机，以及信道参数调整系统及其方法。上述长短期记忆神经网络训练方法包括以下步骤：接收从通信端输出的数字信号；记录常规情况下的正常信道参数；对数字信号进行预处理；使用开源框架搭建长短期记忆神经网络；计算长短期记忆神经网络的损失函数，打印在训练集和验证集上的准确率；更新迭代长短期记忆神经网络的各权重和偏置；判断迭代次数是否达到预定次数；如果达到预定次数，选择在验证集上准确率最高的长短期记忆神经网络进行保存，否则继续迭代。根据本发明技术方案，可以省去前期大量人力工作成本，且获得高精度的信道参数信号。

Description

长短期记忆神经网络训练方法，信道参数调整系统及方法

技术领域

本发明涉及神经网络在通信领域的应用，特别是指一种长短期记忆神经网络的训练方法以及该训练方法在通信领域进行信道参数调整的技术。

背景技术

随着光通信网络变得越来越复杂、透明和动态，需要得到网络中实时的各种信道损伤信息来确保光网络的可靠运行和有效管理，其中信号的调制格式和光信噪比是关键的两个参数。这种检测信道参数的技术叫做光学性能检测(optical performancemonitoring，OPM)，是保障光网络有效运行的关键技术。通过OPM技术，控制中心可以了解实时网络动态运行环境，并根据实时状态调整不同的收发器/网络元件参数，如发射功率、数据速率、调制格式、频谱分配等，以优化传输性能，从而实现弹性、稳定的光网络。

长途相干光传输系统中，光信噪比、色散和调制格式等参数是衡量其性能好坏的重要指标，直接影响其传输的误码率，所以对其进行光学性能检测是有着重要意义的。传统的OPM技术在同时检测多个传输损伤方面能力有限，不同损伤的影响通常难以通过分析去分离，或需要复杂的专业技能和知识才能解决。此外，传统的光学性能检测方法依赖于对信息的复杂后处理和各种均衡算法，需要有经验的工程师才能够完成，成本较高而精度往往不高。

机器学习算法在光通信上的应用是近年来的研究热点。目前已经出现一些基于机器学习的OPM技术。在经典的机器学习任务中，也需要先人工采集所需数据，然后使用精密仪器或传统算法提取出色散、光功率、眼图等特征值，再将特征值放进训练完成的模型得到输出。

比如，将信号的特征例如眼图、异步抽头采样图、幅度直方图等作为输入，与之相关的信息如色散、群时延、光信噪比作为标记，然后输入到机器学习模型中，通过梯度下降的方式训练模型。例如在眼图中，输入特征可能为眼图是否闭眼、Q因子、均方根抖动、交叉幅度等等。还有将眼图或星座图看作图像，用计算机视觉的处理方法训练模型，从而进行光学性能检测的方案。

现有的机器学习OPM技术大多都是对人工提取的特征进行数据挖掘，利用光传输知识选择标记和进行特征工程，提取出相关性较强的特征，从而建立更完善的模型结构。但是特征工程以及人工提取特征都需要较完善的光纤通信知识和测量技术。对数据的后处理耗费了大量的计算量，而且人工提取的特征所训练的模型效果往往不好。而图像识别技术在OPM的应用也存在训练难度大的问题，尤其是图像分辨率较高的情况下，训练时间过长，计算量过大。

现有的基于人工智能的光学性能检测技术虽然精度相较于传统方法有所提高，但其精度的高低很大程度上依赖于人工测量的精度，而且计算成本依旧很高。所以在保证精度的前提下，能够不依赖于人工测量，同时降低计算成本是亟待解决的问题。

发明内容

有鉴于此，本发明致力于提出一种基于长短期记忆神经网络的信道参数检测方法，利用深度学习的方法对复杂的传输数据进行特征提取，利用梯度下降的方法不断减小输出值和标记之间的损失函数，保存模型。之后将数据输入训练完成的模型里即可得到实时的光信噪比和调制格式的信息。

根据本发明一方面，提供一种在通信领域训练长短期记忆神经网络的方法，该方法包括以下步骤：接收从通信端输出的数字信号，记录常规情况下的正常信道参数；将数字信号分为训练集和验证集，并对训练集和验证集数据进行清洗、补全和标准化；使用开源框架搭建长短期记忆神经网络，将来自通信端的数字信号输送到神经网络，对神经网络输出的信道参数进行编码；计算长短期记忆神经网络的损失函数，即神经网络输出的信道参数与正常信道参数之间的误差，打印在训练集和验证集上的准确率；根据损失函数更新迭代长短期记忆神经网络的各权重和偏置；判断迭代次数是否达到预定次数；在判断出迭代次数达到预定次数的情况下，选择在验证集上准确率最高的长短期记忆神经网络进行保存，否则继续迭代。

根据本发明另一方面，提供一种信道参数调整方法，包括以下步骤：实时地接收通信端的输出信号；将输出信号送入训练好的长短期记忆神经网络；将神经网络得到的结果即信道参数发送给控制中心；控制中心根据长短期记忆神经网络得到的结果，调整通信端发端的各项参数。

根据本发明再一方面，提供一种信道参数调整系统，包括：通信网络；训练好的长短期记忆神经网络，用于接收来自通信网络的输出信号，并输出信道参数；控制中心，用于根据长短期记忆神经网络的输出调整通信网络发端的各项参数。

根据本发明另一方面，提供一种计算机可读存储介质，其上存储有计算机可读指令，该计算机可读指令在被计算机运行时执行上述方法。

根据本发明又一方面，提供一种计算机，包括：存储器，用于存储由处理器运行的指令；处理器，用于运行指令以执行上述方法。

根据本发明实施例的方法能够在保证精度的同时，不依赖于人工提取的特征值，降低了计算成本。

附图说明

图1示出了根据本发明实施方式的长短期记忆神经网络的训练方法。

图2示出了根据本发明实施方式的长短期记忆神经网络训练应用于光通信领域的示意图。

图3示出了根据本发明另一实施方式的信道参数调整系统的示意性框图。

图4示出了在光网络领域应用根据本实施例的信道参数调整系统的工作简化图。

图5示出了根据本发明又一实施方式的信道参数调整方法的示意流程图。

图6是示出了可作为用来实现根据本发明实施例的神经网络训练方法的信息处理设备的通用计算机系统的结构简图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

根据本发明实施方式，提供一种在通信领域训练长短期记忆(Long short-termmemory，LSTM)神经网络的方法，从而有助于信道参数检测，实现高精度OPM且不浪费大量人力成本。

LSTM神经网络是一种特殊的循环神经网络(Recurrent Neural Network，RNN)。传统的RNN对于处理时间序列有着良好的效果，然而当序列过长，普通RNN受其结构参数影响，导致其反向传播更新参数时很容易出现梯度爆炸或梯度消失问题。而LSTM神经网络具有保存和遗忘以及控制输出的三个门控函数，通过三个门控函数去控制当前时间点对上一时间点的输入值和对下一时间点的输出，从而保护和控制神经元状态，解决梯度爆炸或消失的问题，能够更好地处理时间序列。LSTM神经网络在语音识别和自然语言处理等方面成果斐然，但在通信领域的运用还有待开发。根据本发明实施例的技术方案正是解决这一问题。

图1示出了根据本发明实施方式的长短期记忆神经网络的训练方法。如图1所示，该方法包括以下步骤：

S110：接收从通信端输出的数字信号，记录常规情况下的正常信道参数。

本实施例下面以光通信为例来说明具体实现方式，然而本领域技术人员应理解本发明不限于此。在光传输的情况下，上述正常信道参数可以是比如使用MATLAB等传统手段获取的光信噪比、调制格式等信息。通信端可以是光通信网络的相干接收机，其输出的数字信号是相干接收机所接收到的I路和Q路信号经过模数转换器后的数字信号。

图2示出了根据本发明实施方式的长短期记忆神经网络训练应用于光通信领域的示意图。如图2所示，信号经过光纤传输到接收端，信号被相干接收之后，经过模数转换，输出的I路信号XI和YI以及Q路信号XQ和YQ为时间序列信号，两路信号作为特征值经过下一步的预处理之后被直接输入到神经网络中。

S120：将从通信端接收的数字信号分为训练集和验证集，并对训练集和验证集数据进行清洗、补全和标准化。

这一步是预处理步骤。在该步骤中，可以采用k折交叉验证的方法来将数字信号分为训练集和验证集，两种数据分别占90％和10％。还可以采用其他交叉验证方法，比如用普通的7:3比例划分训练集和验证集，本发明在此不受限制。可以使用python数据处理包pandas提取所采集的训练集和验证集csv数据来进行数据清洗、补全和标准化。

在此还可以对数据进行分批处理。比如，如果把收集的数据都存入内存且输入到神经网络会导致运算成本高，可以把数据比如10000条数据分成几十个批次，按批次输入到神经网络中，这会大大降低内存用量，提高计算速度。

在将信号送入神经网络之前，还可以把原始数据自动处理为张量tensor的形式。

S130：使用开源框架搭建长短期记忆神经网络，将来自通信端的数字信号输送到神经网络，对神经网络输出的信道参数进行编码。

可以使用Pytorch开源框架来搭建该长短期记忆神经网络。在光通信的情况下，假设我们要得到光信噪比和调制格式的信息，那么搭建出的网络可以包含输入层、隐藏层和输出层。如图2所示，输入层可以包含四个部分，分别接收如图所示的四个信号XI、YI、XQ、YQ，输出层包含两部分，分别输出调制格式和光信噪比。除了输出光信噪比、调制格式之外，神经网络还可以输出其他信道参数，比如光色散、Q因子、误码率等，本发明在此不受限制，本领域技术人员可以根据需要训练神经网络来输出需要的信道参数。

对神经网络输出的信号进行编码，从而将输出信号转为数字信号。在此优选地使用独热编码对调制格式和光信噪比的不同值进行编码，比如QPSK的编码为1,0,0，16-QAM的编码为0,0,1。独热编码的优点为：在处理分类问题时保证各类无关联。

搭建好的神经网络的初始参数即权重和偏置可以采用正态随机分布分配，还可以全部设为初始值为0。本领域技术人员可以根据情况需要进行选择。

S140：计算长短期记忆神经网络的损失函数，打印在训练集和验证集上的准确率。

损失函数可以采用比如交叉熵函数这样的函数，损失函数用于求得神经网络的输出值与步骤S110中记录的采用传统手段得到的正常信道参数之间的误差。训练集和验证集上的准确率就是神经网络输出值准确的个数与总样本的个数之比。

S150：根据损失函数更新迭代长短期记忆神经网络的各权重和偏置。

神经网络的神经元之间连接通路上的权重和偏置是决定神经网络输出结果精度的关键因素，需要一遍遍根据损失函数来迭代更新，直至损失函数越来越小，最终得到期望的神经网络。

优选地，该权重和偏置的更新可以采用Adam优化器来进行。Adam常用在深度学习任务中。相比于随机梯度下降，Adam优化器可以对不同的参数进行不同频率的更新，比如在本实施例中，对于权重过大或者过小的神经元更新不频繁，介于之间的更新较频繁。可以对更新频率较低的参数加大步长，对更新频率较高的参数减少步长。

S160：判断迭代次数是否达到预定次数。该预定次数可以是1000次或其他数字。

S170：在判断出迭代次数达到预定次数的情况下，选择在验证集上准确率最高的长短期记忆神经网络进行保存。否则，继续迭代。

在预定次数是1000次的情况下，每迭代1000次就保存一次模型。由于过拟合的存在，迭代次数最多的模型不一定是最优模型，所以本实施例最后选择在验证集上准确率最高的模型进行保存。本领域技术人员也可以选择迭代次数最多的模型进行保存，本发明在此不受限制。

以上参照图1，以光通信为例，描述了根据本发明实施例在通信领域训练长短期记忆神经网络的方法。根据本发明实施方式的长短期记忆神经网络训练方法，利用相关光通信技术结合深度学习算法在接收端有效检测光信噪比和调制格式这样的信道参数，有利于在大容量高速率光网络和光传输系统中实时得到各种信道损伤信息，从而合理有效地调整参数和优化资源。本发明技术方案解决了现有的基于机器学习的OPM技术计算成本高，训练模型难度大和精确度不高的问题。

以上训练好的神经网络的输出结果可以被控制中心用来调整通信网络发端的各项参数，从而确保网络状态正常。故此，根据本发明另一实施方式，还提供一种信道参数调整系统，包括：通信网络；上述训练好的长短期记忆神经网络；控制中心，用于根据长短期记忆神经网络的输出调整通信网络发端的各项参数。

图3示出了根据本发明另一实施方式的信道参数调整系统的示意性框图。如图3所示，该信道参数调整系统包括：通信网络310，如上所述通信网络可以是大容量光网络；训练好的长短期记忆神经网络320，该神经网络320的训练过程可以参照以上实施例所述；控制中心330，根据神经网络320的实时信息调整通信网络310发端的各项参数，确保通信网络高效运行。

图4示出了在光通信网络领域应用根据本实施例的信道参数调整系统的工作简化图。其中，使用相干接收机接收实时数据，并将数据送入上述深度学习检测系统，然后将所得结果返回控制中心，控制中心将根据系统所检测到的实时信息调整发端的各项参数，保证光网络的高效运行。

根据本发明又一实施方式，还提供一种信道参数调整方法。该信道参数调整方法即是上述信道参数调整系统所执行的方法。图5示出了该信道参数调整方法的示意流程图。如图5所示，该方法包括以下步骤：

S510：实时地接收通信端的输出信号，输出信号表征信道参数。

S520：将输出信号经过预处理后送入上述训练好的长短期记忆神经网络。

S530：将神经网络得到的结果即信道参数发送给控制中心。

S540：控制中心根据长短期记忆神经网络得到的结果，调整通信端发端的各项参数。

该方法和系统未详述部分，请参考以上关于神经网络训练过程的描述，此处不再赘述。

上面已通过框图、流程图对本发明实施例进行了详细描述。本领域的技术人员明白，本说明书中描述的实施方式的一些方面能够全部或部分地以在一个或多个计算机上运行的一个或多个计算机程序的形式(例如，以在一个或多个计算机系统上运行的一个或多个计算机程序的形式)、以在一个或多个处理器上运行的一个或多个程序的形式(例如，以在一个或多个微处理器上运行的一个或多个程序的形式)、以固件的形式、或以实质上它们的任意组合的形式等效地实施，并且，根据本说明书中公开的内容，设计用于本公开的电路和/或编写用于本公开的软件和/或固件的代码完全是在本领域技术人员的能力范围之内。

例如，上述神经网络训练方法的处理流程图中的各个步骤可以通过软件、固件、硬件或其任意组合的方式来执行。在通过软件或固件实现的情况下，可从存储介质或网络向具有专用硬件结构的计算机(例如图6所示的通用计算机600)安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能。

因此，本发明还提出了一种存储有机器可读取的指令代码的程序产品。所述指令代码由机器读取并执行时，可执行上述根据本发明实施例的神经网络训练方法。相应地，用于承载这种程序产品的上面列举的各种存储介质也包括在本发明的公开中。

图6是示出了可作为用来实现根据本发明实施例的神经网络训练方法的信息处理设备的通用计算机系统的结构简图。计算机系统600只是一个示例，并非暗示对本发明的方法和装置的使用范围或者功能的局限。也不应将计算机系统600解释为对示例性操作系统600中示出的任一组件或其组合具有依赖或需求。

在图6中，中央处理单元(CPU)601根据只读存储器(ROM)602中存储的程序或从存储部分608加载到随机存取存储器(RAM)603的程序执行各种处理。在RAM 603中，还根据需要存储当CPU 601执行各种处理等等时所需的数据。CPU 601、ROM 602和RAM 603经由总线604彼此连接。输入/输出接口605也连接到总线604。

下述部件也连接到输入/输出接口605：输入部分606(包括键盘、鼠标等等)、输出部分607(包括显示器，例如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分608(包括硬盘等)、通信部分609(包括网络接口卡例如LAN卡、调制解调器等)。通信部分609经由网络例如因特网执行通信处理。根据需要，驱动器610也可连接到输入/输出接口605。可拆卸介质611例如磁盘、光盘、磁光盘、半导体存储器等等可以根据需要被安装在驱动器610上，使得从中读出的计算机程序可根据需要被安装到存储部分608中。

在通过软件实现上述系列处理的情况下，可以从网络例如因特网或从存储介质例如可拆卸介质611安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图6所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质611。可拆卸介质611的例子包含磁盘(包含软盘)、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 602、存储部分608中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。

本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种在通信领域训练长短期记忆神经网络的方法，其特征在于，该方法包括以下步骤：

接收从通信端输出的数字信号，记录常规情况下的正常信道参数；

将所述数字信号分为训练集和验证集，并对训练集和验证集数据进行清洗、补全和标准化；

使用开源框架搭建长短期记忆神经网络，将来自通信端的数字信号输送到神经网络，对神经网络输出的信道参数进行编码；

计算长短期记忆神经网络的损失函数，即神经网络输出的信道参数与所述正常信道参数之间的误差，打印在训练集和验证集上的准确率；

根据所述损失函数更新迭代长短期记忆神经网络的各权重和偏置；

判断迭代次数是否达到预定次数；

在判断出迭代次数达到预定次数的情况下，选择在验证集上准确率最高的长短期记忆神经网络进行保存，否则继续迭代。

2.根据权利要求1所述的方法，其中所述信道参数是光信噪比和调制格式，所述数字信号是I路和Q路信号，且所述神经网络的输出层由两部分构成。

3.根据权利要求1所述的方法，其中采用K折交叉验证来将所述数字信号分为训练集和验证集。

4.根据权利要求1所述的方法，其中使用python数据处理包pandas对所述训练集和验证集进行数据清洗，补全，和标准化。

5.根据权利要求1所述的方法，其中所述权重和偏置的初始值通过正态分布随机分配。

6.根据权利要求1所述的方法，其中所述权重和偏置的更新使用Adam优化器来进行。

7.一种信道参数调整方法，其特征在于，包括以下步骤：

实时地接收通信端的输出信号；

将所述输出信号送入根据权利要求1-6中任一项所述的方法训练好的长短期记忆神经网络；

将神经网络得到的结果即信道参数发送给控制中心；

所述控制中心根据所述长短期记忆神经网络得到的结果，调整通信端发端的各项参数。

8.一种信道参数调整系统，其特征在于，包括：

通信网络；

根据权利要求1-6中任一项所述的方法训练好的长短期记忆神经网络，用于接收来自通信网络的输出信号，并输出信道参数；

控制中心，用于根据长短期记忆神经网络的输出调整通信网络发端的各项参数。

9.一种计算机可读存储介质，其上存储有计算机可读指令，该计算机可读指令在被计算机运行时执行根据权利要求1-6中任一项所述的方法。

10.一种计算机，其特征在于包括：

存储器，用于存储由处理器运行的指令；

处理器，用于运行指令以执行根据权利要求1-6中任一项所述的方法。

Images