CN113408726A - 基于ap-nag算法的复值神经网络信道均衡器设计方法 - Google Patents

Abstract

本发明公开了一种基于AP‑NAG算法的复值神经网络信道均衡器设计方法，包括以下步骤：将从非线性信道中采集的畸变信号y(n)作为复值神经网络的输入，将延时τ个单位的原始输入信号s(n‑τ)作为期望输出，将复值神经网络的实际输出和期望输出的均方误差作为损失函数；B、采用AP‑NAG算法训练复值神经网络，直至将损失函数值降低到预设值以下；C、将训练之后的复值神经网络模型作为信道均衡器。本发明解决了NAG算法用于复值神经网络训练的理论问题，并使其参数能自适应调整，实现了复值神经网络的高效训练，相对于传统的一阶优化算法性能有了明显提升，收敛速度更快。相对于二阶优化算法，本算法的计算量和存储量更小，但是收敛速度并不逊色。

Description

基于AP-NAG算法的复值神经网络信道均衡器设计方法

技术领域

本发明涉及人工智能于信道均衡器技术领域，特别涉及一种基于AP-NAG算法的复值神经网络信道均衡器设计方法。

背景技术

如果把通信系统中的传输信道看作是一个具有低频响应的线性滤波器，那么当该滤波器响应的包络延迟或者幅度超过了信道的传输带宽时，就会造成传输信号波形的畸变，从而引起码间干扰。另外，信号在传输过程中可能会受到外界噪声干扰。信道均衡就是在接收机端用来恢复初始发送信号，消除码间干扰和降低噪声干扰的一种信号处理技术。通常情况下，具有信道均衡器的数字通信系统框图如图1所示，其中，s(n)为输入信号，N为信道阶数，f(·)为信道映射，o(n)为无噪声时信道输出，v(n)为高斯白噪声，y(n)＝[y(n),y(n-1),…,y(n-m+1)]^T为信道输出，也是信道均衡器的输入数据，m为均衡器的阶数，τ为均衡器的决策延迟时间，

为信道均衡器的输出。均衡器的目标是将被干扰之后的信号y(n)恢复为初始发送信号。

信道均衡器大致可以分为线性均衡器和非线性均衡器，线性均衡器虽然结构简单使用方便，但是在非线性失真严重时性能有限。在这种情况下，可以使用非线性结构的均衡器，其具有较低的比特误码率、均方误差以及比线性均衡器更快的收敛速度。在非线性信道均衡器的实现上，神经网络是最常用的方法。而由于复值神经网络可以直接处理复值数据，很自然地就被用作复值信道均衡器的设计。复值神经网络作为人工神经网络的一个重要分支，近些年越来越被广泛应用于各种工程领域，如图像处理、信号处理以及通信等。在很多实际应用比如复信号处理中，复值神经网络的性能被证明优于实值神经网络。

根据激活函数的不同，复值神经网络可以分为两大类：分裂型和全复型复值神经网络。其中，分裂型复值神经网络又可以分为实部虚部型和幅度相位型复值神经网络。根据刘维尔(Liousville)定理，一个有界的解析函数必定是一个常函数。因此，在复值神经网络中，如果采用复值激活函数，将无法同时满足解析性和有界性。

在实部虚部型复值神经网络中，将激活函数表示为

其中

f_R是实值函数。采用这种形式的激活函数保证了其在实数域上的有界性以及可导性。

幅度相位型复值神经网络使用的时候需要对输入数据进行预处理，将所输入的复数值转换成幅度和相位的形式。比如，可以将输入层的第n个神经元的输入表示为

其中，|x_n|为幅度，Φ(x_n)为相位。此时，可以将激活函数表示为：

幅度相位型神经网络一般用来处理波形信号，有研究证明了幅度相位型神经网络在解决此类问题的时候有很大优势。

全复神经网络采用的是复数值激活函数，可以直接对复数进行处理。相对于以上分裂型神经网络结构，全复型结构可以更加简单，在应用于逼近和分类问题时可以使用更少的神经元。然而，正如前文所述的，复数值激活函数无法同时满足有界性和可导性。那么，选取怎样的激活函数就变成了一个很大的问题。在选择激活函数的时候大家倾向于满足有界性而牺牲可导性，换句话说激活函数存在奇点，在使用这类激活函数时，要求输入数据不落在奇点上，以免影响训练。研究表明双曲线函数即tanh函数由于存在较少的奇点，能够获得更好的训练效果。

实值神经网络的训练算法大致可以分为一阶算法和二阶算法。一阶算法只要计算目标函数的一阶导数，而二阶算法需要计算目标函数的二阶导数，也就是海塞矩阵。一阶算法主要是梯度下降算法及其变式，二阶算法主要有牛顿法、拟牛顿法(DFP、BFGS、L-BFGS)等。梯度下降算法在复值神经网络的训练中应用最为广泛，且计算量和存储量小。但也有一些缺点，例如收敛速度慢，容易陷入局部极小值等。二阶算法收敛速度相对于一阶算法有了很大提升，但由于使用牛顿法需要计算损失函数的海塞矩阵的逆，需要的计算和存储代价太高，在实际工程应用中并不实用，所以Broyden等人提出了BFGS算法，BFGS算法是一种拟牛顿算法，其原理是通过求解海塞矩阵的近似解来降低计算量。而L-BFGS算法是对BFGS算法的改进以节省算法实现过程中占用的内存单元。

将以上实值神经网络中的训练算法推导到复值神经网络中时，首先需要克服复微分的计算问题。在复值神经网络中，所构建的目标函数通常仍为实数值函数，因此在复数域肯定不解析，从而无法求解其复微分。此时，需要采用Wirtinger算子来进行复微分的求解。另外，因为复值神经网络的目标函数中存在很多鞍点，影响了复梯度算法的收敛速度，所以学者们提出了一些改进算法。比如，使用复步长代替实步长可以一定程度上避开鞍点，或者使用CBBM(Complex Barzilai-Borwein Method)算法在每次迭代中自适应调整步长，加速收敛。

加速算法(Nesterov accelerated gradient，NAG)由Nesterov在1983年提出的一种可用于实值神经网络训练的基于梯度下降法改进而来的一阶优化算法。理论证明，NAG算法的收敛速度可以达到

其中k为迭代次数。使用NAG算法在当前位置W_k计算下降方向的公式为：

其中，α和β为固定的预设值，v_k+1为下降方向，

为梯度。

NAG算法在计算下降方向时考虑了历史梯度和未来梯度，所以能起到加速收敛的作用，但是由于其参数α和β取固定值，所以并不能保证取得很好的效果。另一方面，NAG算法原本是实值神经网络中的算法，并不能直接用于复值神经网络的训练。

图2为NAG算法的示意图，其中W代表迭代位置，V代表下降方向，参数α和β取固定值，W_k-βv_k为迭代位置W_k的偏移。当前迭代的下降方向由上次迭代的下降方向和当前位置偏移之后的梯度方向线性叠加而成，因此在α和β固定时，每次迭代计算出的下降方向也是固定的，不能根据每次迭代的情况进行调整，所以其性能相比于传统的BP算法提升有限。但是，如果在迭代过程中改变参数α或β，就可以改变组成下降方向的向量的长度，如图3所示，改变了α的值之后，将上方的向量拉伸或者压缩，使得组成的下降方向的范围拓展到部分平面，从而可以在更大的范围内寻找更合适的下降方向，提高算法的性能。另外，改变参数β或者同时改变α或β也可以取得类似的效果。

发明内容

本发明要解决的技术问题是提供一种精度高、低损耗的基于AP-NAG算法的复值神经网络信道均衡器设计方法。

为了解决上述问题，本发明提供了基于AP-NAG算法的复值神经网络信道均衡器设计方法，其包括以下步骤：

A、将从非线性信道中采集的畸变信号y(n)作为复值神经网络的输入，将延时τ个单位的原始输入信号s(n-τ)作为期望输出，将复值神经网络的实际输出和期望输出的均方误差作为损失函数；

B、采用AP-NAG算法训练复值神经网络，直至将损失函数值降低到预设值以下；

C、将训练之后的复值神经网络模型作为信道均衡器；

其中，采用AP-NAG算法训练复值神经网络的第t次迭代包括以下步骤：

B1、计算当前位置W^(t-1)向前偏移之后的损失函数J(W^(t-1)-βv_t-1)，其中，W^(t-1)为第(t-1)次迭代时所设复值神经网络所有可调权值和偏置构成的列向量β为预设的固定值，v_t-1是上次迭代的下降方向；

B2、使用Wirtinger算子计算损失函数的复梯度

B3、使用ALRT算法选出合适的α，计算当前迭代点的下降方向；公式如下：

B4、更新参数：W^(t)＝W^(t-1)-v_t。

作为本发明的进一步改进，所述步骤B3包括以下步骤：

B31、遍历所有候选节点以及尺度因子序列，求出对应的损失值；

B32、找出损失值最小的点，更新参数；

B33、根据损失值从小到大的顺序筛选出M个候选节点用作下次迭代。

作为本发明的进一步改进，所述步骤B31具体包括：

给定候选节点数M和尺度因子序列

遍历M个候选节点，每个节点的参数α分别与尺度因子序列N个因子相乘；公式如下：

作为本发明的进一步改进，所述步骤B32中更新参数如下：

其中，m_t,n_t表示使得损失函数J取得最小值的下标。

作为本发明的进一步改进，所述B33具体包括：

根据损失值J的大小将

从小到大排序，并将前M对参数保存为

作为下次迭代的候选节点。

作为本发明的进一步改进，步骤B2中使用Wirtinger算子计算损失函数的复梯度

公式如下：

其中，W^*为W的共轭，

和

分别为W的实部和虚部。

作为本发明的进一步改进，步骤C之后还包括以下步骤：

D、输入测试集数据测试其性能，根据测试结果进一步调试复值神经网络。。

本发明的有益效果：

1.本发明基于AP-NAG算法的复值神经网络信道均衡器设计方法解决了NAG算法用于复值神经网络训练的理论问题，并使其参数能自适应调整。

2.本发明提出的AP-NAG算法实现了复值神经网络的高效训练，在性能上相对于传统的一阶优化算法有了明显提升，收敛速度更快。

3.相对于二阶优化算法，本算法所需的计算量和存储量更小，但是收敛速度并不逊色。

4.在信道均衡问题中，该算法相对于传统优化算法表现更加出色。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

附图说明

图1为现有具有信道均衡器的数字通信系统框图；

图2为NAG算法的示意图；

图3为改变了α的值的NAG算法的示意图；

图4为本发明优选实施例中基于AP-NAG算法的复值神经网络信道均衡器设计方法的整体框图；

图5为本发明优选实施例中基于AP-NAG算法的复值神经网络信道均衡器设计方法的流程图；

图6为ALRT算法前4次迭代示意图；

图7为本发明优选实施例中基于AP-NAG算法的复值神经网络信道均衡器与基于其它常用算法的复值信道均衡器的效果对比图；

图8为本发明优选实施例中基于AP-NAG算法的复值神经网络信道均衡器与基于其它常用算法的复值信道均衡器的输出信号图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

本发明结合Wirtinger算子将NAG(Nesterov Accelerated Gradient)算法和ALRT(Adaptable Learning Rate Tree)技术引入复梯度下降算法中，提出了自适应参数加速复梯度下降(AP-NAG)算法，实现了复值神经网络的高效训练。将采用以上算法训练的复值神经网络应用于QAM数字通信系统的信道均衡问题，有效实现了信道均衡器的设计。设计思路为：初始发送数据s(n)在通过非线性信道之后畸变为y(n)＝[y(n),y(n-1),…,y(n-m+1)]^T，将y(n)作为复值神经网络的输入，s(n-τ)作为期望输出，通过均方误差构建损失函数J(z,z^*)。对损失函数J(z,z^*)采用自适应参数加速复梯度下降算法进行优化，从而得到合适的复值神经网络模型，最终使用该网络实现信道均衡。其整体框图如图4所示。在AP-NAG算法中，当前迭代点W^(t-1)的下降方向是由上次迭代的下降方向和目标函数J在未来位置W^(t-1)-βv_t-1处的复梯度方向线性叠加而成，

如图5所示，为本发明优选实施例中的基于AP-NAG算法的复值神经网络信道均衡器设计方法，包括以下步骤：

A、将从非线性信道中采集的畸变信号y(n)作为复值神经网络的输入，将延时τ个单位的原始输入信号s(n-τ)作为期望输出，将复值神经网络的实际输出和期望输出的均方误差作为损失函数；

B、采用AP-NAG算法训练复值神经网络，直至将损失函数值降低到预设值以下；

C、将训练之后的复值神经网络模型作为信道均衡器；

其中，采用AP-NAG算法训练复值神经网络的第t次迭代包括以下步骤：

B1、计算当前位置W^(t-1)向前偏移之后的损失函数J(W^(t-1)-βv_t-1)，其中，W^(t-1)为第(t-1)次迭代时所设复值神经网络所有可调权值和偏置构成的列向量β为预设的固定值，v_t-1是上次迭代的下降方向；

B2、使用Wirtinger算子计算损失函数的复梯度

B3、使用ALRT算法选出合适的α，计算当前迭代点的下降方向；公式如下：

B4、更新参数：W^(t)＝W^(t-1)-v_t。

为了使NAG算法收敛速度更快，本发明提出了自适应参数加速复梯度下降(AP-NAG)算法，采用如图5所示的ALRT算法在每次迭代过程中根据损失函数值自适应调整AP-NAG算法的参数α，从而得到更好的下降方向。

可选的，所述步骤B3包括以下步骤：

B31、遍历所有候选节点以及尺度因子序列，求出对应的损失值；

B32、找出损失值最小的点，更新参数；

B33、根据损失值从小到大的顺序筛选出M个候选节点用作下次迭代。

其中，所述步骤B31具体包括：

给定候选节点数M和尺度因子序列

遍历M个候选节点，每个节点的参数α分别与尺度因子序列N个因子相乘；公式如下：

其中，所述步骤B32中更新参数如下：

其中，m_t,n_t表示使得损失函数J取得最小值的下标。

其中，所述B33具体包括：

根据损失值J的大小将

从小到大排序，并将前M对参数保存为

作为下次迭代的候选节点。

其中，步骤B2中使用Wirtinger算子计算损失函数的复梯度

公式如下：

其中，W^*为W的共轭，

和

分别为W的实部和虚部。

在一些实施例中，步骤C之后还包括以下步骤：

D、输入测试集数据测试其性能，根据测试结果进一步调试复值神经网络。

在其中一具体实施例中，将本发明基于AP-NAG算法的复值信道均衡器应用于4-QAM数字通信系统中，并且将其与基于其它常用算法的复值信道均衡器进行对比，如图7所示。

其中，图7(a)采用实部虚部型复值神经网络，图7(b)采用的是全复神经网络，其区别仅在于激活函数不同。图中的BP、NAG和CBBM是传统一阶优化算法，CALRT是2020发表的复值神经网络一阶算法，而AP-NAG算法为本发明中提出的一阶优化算法，在本实施例中，AP-NAG算法在两种复值神经网络中都全面优于其它一阶算法。

通过信道均衡器之后的4-QAM信号如图8所示，图8(a)为采用实部虚部型复值神经网络时的输出信号，图8(b)为采用全复神经网络时的输出信号。可以看出，本发明基于AP-NAG算法的复值神经网络信道均衡器性能更加出色。

本发明通过结合Wirtinger算子进行复微分计算从而建立了可用于复值神经网络训练的AP-NAG算法，并通过采用ALRT算法自适应调整AP-NAG算法中的参数，扩大了下降方向的搜索范围，提升了信道均衡器的性能。将本发明提出的算法应用于多层前向复值神经网络的训练，提升了训练效率，并解决4-QAM数字通信系统的信道均衡器设计问题。

以上实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (7)

1.基于AP-NAG算法的复值神经网络信道均衡器设计方法，其特征在于，包括以下步骤：

A、将从非线性信道中采集的畸变信号y(n)作为复值神经网络的输入，将延时τ个单位的原始输入信号s(n-τ)作为期望输出，将复值神经网络的实际输出和期望输出的均方误差作为损失函数；

B、采用AP-NAG算法训练复值神经网络，直至将损失函数值降低到预设值以下；

C、将训练之后的复值神经网络模型作为信道均衡器；

其中，采用AP-NAG算法训练复值神经网络的第t次迭代包括以下步骤：

B1、计算当前位置W^(t-1)向前偏移之后的损失函数J(W^(t-1)-βv_t-1)，其中，W^(t-1)为第(t-1)次迭代时所设复值神经网络所有可调权值和偏置构成的列向量β为预设的固定值，v_t-1是上次迭代的下降方向；

B2、使用Wirtinger算子计算损失函数的复梯度

B3、使用ALRT算法选出合适的α，计算当前迭代点的下降方向；公式如下：

B4、更新参数：W^(t)＝W^(t-1)-v_t。

2.如权利要求1所述的基于AP-NAG算法的复值神经网络信道均衡器设计方法，其特征在于，所述步骤B3包括以下步骤：

B31、遍历所有候选节点以及尺度因子序列，求出对应的损失值；

B32、找出损失值最小的点，更新参数；

B33、根据损失值从小到大的顺序筛选出M个候选节点用作下次迭代。

3.如权利要求2所述的基于AP-NAG算法的复值神经网络信道均衡器设计方法，其特征在于，所述步骤B31具体包括：

给定候选节点数M和尺度因子序列

遍历M个候选节点，每个节点的参数α分别与尺度因子序列N个因子相乘；公式如下：

4.如权利要求3所述的基于AP-NAG算法的复值神经网络信道均衡器设计方法，其特征在于，所述步骤B32中更新参数如下：

其中，m_t,n_t表示使得损失函数J取得最小值的下标。

5.如权利要求4所述的基于AP-NAG算法的复值神经网络信道均衡器设计方法，其特征在于，所述B33具体包括：

根据损失值J的大小将

从小到大排序，并将前M对参数保存为

作为下次迭代的候选节点。

6.如权利要求1所述的基于AP-NAG算法的复值神经网络信道均衡器设计方法，其特征在于，步骤B2中使用Wirtinger算子计算损失函数的复梯度

公式如下：

其中，W^*为W的共轭，

和

分别为W的实部和虚部。

7.如权利要求1所述的基于AP-NAG算法的复值神经网络信道均衡器设计方法，其特征在于，步骤C之后还包括以下步骤：

D、输入测试集数据测试其性能，根据测试结果进一步调试复值神经网络。

Images