CN1485798A - 一种神经网络均衡器的优化训练方法 - Google Patents

Abstract

本发明提供一种神经网络均衡器的优化训练方法，首先记录神经网络均衡器在典型信道条件下的训练时间开销；利用所得的训练时间开销，计算神经网络均衡器的优化重起点；将优化重起点作为训练过程的控制参数，利用发送端传送的训练序列训练神经网络均衡器，如果训练开销超过优化重起点所对应的期望开销，则随机化神经网络的权值参数和偏移参数，重起训练过程；神经网络均衡器训练收敛后，其输出补偿失真的无线信号。本发明可以有效降低典型的前馈神经网络的训练时间开销，从而在保留神经网络均衡器的自适应性和非线性建模能力的情况下，显著提高可用性。

Description

一种神经网络均衡器的优化训练方法

技术领域

本发明涉及无线通信领域，具体地说，涉及神经网络均衡器的优化训练方法。

背景技术

均衡是无线通信系统解决多路径衰落、非线性放大失真等问题的核心方法。在信道和发送方功率放大器不引入任何振幅失真的情况下，基于均方误差判据的线性均衡器可以实现以符号错误概率为量度的优化性能。但是复杂的无线环境和高速无线调制技术通常会导致显著的振幅失真，这就使得线性均衡器的可用性受到了严重的限制。在这一背景下，提出了非线性均衡算法，如决策反馈法和最大似然序列估计法等。但是上述非线性方法仍然存在局限性，如对决策反馈法来说，其均衡器的核心仍是线性滤波器，只是引入了反馈结构，将上一时间步的输出反馈给输出判定部件，以确定下一时间步的输出。理论上，这类结构不具备一般的非线性拟和能力。最大似然序列估计法是一种参数化的方法，它要求先验地假设信道统计特征和噪声的统计分布，这使得其可用性受到模型适用条件的制约，并且，这种方法的计算开销较大，特别是在信道的传播延迟大的情况下。

人工神经网络是一种半参数化的智能计算模型，由于其在理论上具有一般的非线性拟和能力，以及神经网络具有长程相关(权重)和短程相关(输入时延或Gamma单元)相结合的记忆结构，因此可被用来充分地建模系统的非线性动力行为，和较灵活地处理时变系统动力特征的长程相关性和短程突发性，具有较好的适应性和鲁棒性。在论文“Nonlinear Channel Equalization Using MultilayerPerceptrons with Information-Theoretic Criterion”和“Nonlinear ChannelEqualization for QAM Signal Constellation Using Artificial NeuralNetworks”(发表在IEEE Transactions on Systems，Man，and Cybernetics，1999年4月第29卷)中介绍了两种基于人工神经网络的非线性适应均衡方法，相对于线性均衡方法具有明显的性能优势。这种均衡器一般以多层感知机(MLP)或径向基函数(RBF)神经网络为核心，实现非线性信号的补偿。神经网络主要实现非线性滤波的作用，对被信道噪声或其他噪声源污染的输入信号进行补偿，获得期望中的源信号。由于达到一定复杂程度的神经网络具有通用的函数拟和能力，可以近似任意函数关系，因而适当的神经网络结构可以反映出由信道、放大器和其他系统噪声源对于输入信号的响应特性。

但是神经网络在非线性均衡中的应用中仍受到一个关键因素的制约：训练过程的收敛性问题。不同于传统的解析优化方法，神经网络的训练过程主要利用局域信息；映象空间中的局域最优点将干扰训练过程向全局最优收敛，会导致神经网络的训练过程具有较多的不确定性和可变性，即训练时间开销的概率分布具有重尾(heavy-tailed)特性。具体到适应性非线性均衡方法中，神经网络均衡器训练时间开销的重尾性将导致训练过程，在某些时间周期中，无法成功达到对均衡器的训练质量目标，即训练过程不收敛，使得在这些时间周期内，均衡器处于下优性能状态，严重影响均衡质量。

发明内容

本发明所要解决的技术问题在于提供一种神经网络均衡器的优化训练方法，用以改善前馈神经网络的训练效率。

本发明所述神经网络均衡器的优化训练方法，包括以下步骤：

一、记录神经网络均衡器在典型信道条件下的训练时间开销；

二、利用步骤一的训练时间开销，计算神经网络均衡器的优化重起点及对应的期望开销；

三、将优化重起点作为训练过程的控制参数，利用发送端传送的训练序列训练神经网络均衡器，如果训练开销超过优化重起点所对应的期望开销，则随机化神经网络的权值参数和偏移参数，重起训练过程；

四、神经网络均衡器训练收敛后，其输出补偿失真的无线信号。

本发明所述神经网络均衡器的优化训练方法可以有效降低典型的前馈神经网络的训练时间开销，从而在保留神经网络均衡器的自适应性和非线性建模能力的情况下，显著提高可用性。

附图说明

图1是本发明优化训练方法的流程图。

图2是本发明所选用TLFN的拓扑结构示意图。

图3是典型的适应性均衡器的训练过程示意图。

图4是采用本发明所述训练方法的计算开销的理论值曲线图。

图5是采用本发明所述训练方法的计算开销的仿真值曲线图。

图6是采用本发明所述训练方法的TLFN均衡器的训练精度仿真值曲线图。

具体实施方式

由于神经网络训练时间的开销分布具有重尾现象，而计算时间开销分布的重尾现象在NP优化问题中是普遍存在的，因此可以利用抑制NP优化问题时间开销重尾性的方法来解决神经网络训练的收敛问题。遵循上述思路，本发明提出了一种用于改善前馈神经网络训练效率的优化训练方法。

本发明选用时间延迟前馈神经网络TLFN(Time Lagged Forward neuralNetworks)作为一个实施例，原因在于该类网络拓扑同时具有长程和短程记忆，可以较灵活折中建模对象的动力行为的长程相关性和短程突发性；并且该类网络属于前馈结构，其训练的计算复杂性可以被控制在一个较低的水平上。本发明所述优化训练方法也可以适用于其他类型的前馈网络。

图1是本发明所述方法的流程图。首先根据信道的统计特征，利用非线性模型辨识方法，选择适当拓扑结构的TLFN均衡器。信道统计特征的确定可以依据某种先验模型，如加性高斯白噪声等，也可以依据实际的测量数据。非线性模型辨识方法可以基于通常的熵方法的变形，如非线性不可约自相关方法。在确定了TLFN均衡器的结构后，记录TLFN均衡器在典型信道条件下的训练时间开销，记录的训练时间开销越多，利用核密度估计法估计的TLFN均衡器训练开销的概率分布就越精确。在期望训练开销与重起点之间存在一定的函数关系，一般地，期望训练开销和重起点都是以训练批次为单位，将期望训练开销的最小值所对应的重起点定义为优化重起点，并将优化重起点作为TLFN均衡器训练过程的控制参数，使训练开销一旦超过优化重起点所对应的批次数，就随机化TLFN的参数(权值和偏移)，重起训练过程。最后利用无线通信发送端传送的训练序列训练TLFN，等训练过程收敛后，TLFN均衡器的输出即作为失真的无线信号的补偿信号。

图2是TLFN的拓扑结构示意图，有三层结构：输入层、隐藏层和输出层。输入层的短程记忆机制可以采用时延线或者如Gamma记忆单元的卷积记忆结构。如前所述，该类网络同时具有长程相关和短程相关的记忆结构，可以较灵活地处理时变系统动力特征的长程相关性和短程突发性。

适应性均衡器需要定期进行训练，图3给出了典型的训练过程示意图。滤波单元首先针对特定的输入，通过滤波估计发送端发送的波形，将估计值与决策单元获得的实际信号的精确波形进行比较，再根据估计误差调整滤波单元的参数，以改善滤波性能。在本发明中，TLFN承担滤波单元的作用。

利用随机重起改善TLFN均衡器的训练收敛性问题是基于这样的思路：假设训练过程的计算开销可以用一个随机变量刻画，并且计算开销的概率分布是重尾的，即随机变量X满足

P[X＞x]∝x^-α，x→+∞，0＜α＜2那么其训练计算开销的期望值不存在(发散)。但是如果假设不同训练过程的计算开销是统计独立的，为训练过程设定一个合适的截断点n，n的单位可以灵活选择，例如以训练样本批次为单位。如果训练次数达到n，则随机初始化权重，重起训练过程，这样可以使训练的计算开销具有一个有限的期望值。假设训练过程在某个计算开销限制n之前结束的概率为p，在其后结束的概率为q＝1-p，则以n为重起点的随机重起训练过程的计算开销期望是：

$E=\underset{k=1}{\overset{+\∞}{\mathrm{\Σ}}}\mathrm{kn}{(1-p)}^{k-1}p$

$=-\mathrm{np}\underset{k=1}{\overset{+\∞}{\mathrm{\Σ}}}\frac{d{(1-p)}^k}{\mathrm{dp}}$

$=-\mathrm{np}\frac{d}{\mathrm{dp}}\left[\underset{k=1}{\overset{+\∞}{\mathrm{\Σ}}}{(1-p)}^k\right]$

$=-\mathrm{np}\frac{d}{\mathrm{dp}}\left(\frac{1-p}{p}\right)$

$=\frac{n}{p}$

这是一个依赖于p和n的有限值。

进一步确定优化重起点。令d(n)和d(j-1，j)是两个如下定义的随机事件，

d(n)：训练在计算开销n之内完成；

d(j-1，j)：训练在计算开销(j-1，j)之内完成。

令E_l(n)为假设训练在计算开销n之内完成的条件下计算开销的条件期望，即

$E_l\left(n\right)\≡\underset{j=1}{\overset{n}{\mathrm{\Σ}}}P\left[d(j-1,j)\right|d\left(n\right)]\·j=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\frac{P_j-P_{j-1}}{P_n}j$

这里P_n，P_j，P_j-1分别是训练在计算开销n，j，j-1之内完成的概率，这些概率的估计值可以由非参数概率分布估计方法，如核估计方法获得。

定义E_r(n)为以n为重起点的随机重起训练过程的计算开销期望

$E_r\left(n\right)\≡\underset{i=0}{\overset{\∞}{\mathrm{\Σ}}}{(1-P_n)}^i\·P_n(i\·n+E_l)$

则， $E_r\left(n\right)=\underset{i=0}{\overset{\∞}{\mathrm{\Σ}}}{(1-P_n)}^i\·P_n\mathrm{in}+\underset{i=0}{\overset{\∞}{\mathrm{\Σ}}}{(1-P_n)}^i\·P_n{E}_l$

$E_r\left(n\right)=\frac{(1-P_n)}{P_n}n+E_l----\left(1\right)$

式(1)的最小值所对应的n即为优化重起点。

图4和图5分别给出了采用不同重起点随机重起时，训练过程计算开销的理论值和仿真值。仿真的方案如下，测试以300、400、500、…、17100、17200为重起点时的计算开销(共170个测试点)。这里受计算开销的限制，为训练设立最大截断点：25000个训练批次，如果在进行了25000个训练批次后仍未达到训练目标，即平方误差和小于等于2.2，则强制终止训练过程，并选用这25000个训练批次中所达到的最小误差所对应的TLFN参数作为训练结果。这样，如果重起点是300，则最多执行84次重起(25000/300的上取整)，其中最后一次重起后最多只训练100个批次。由图可见，利用式(1)的最小值可以较准确地估计优化重起点。图6给出采用不同重起点时随机重起时TLFN均衡器训练精度的仿真值，由图可见，使用优化重起可以明显降低训练输出的误差和误差的波动。

Claims (2)

1、一种神经网络均衡器的优化训练方法，其特征在于，包括以下步骤：

一、记录神经网络均衡器在典型信道条件下的训练时间开销；

二、利用步骤一的训练时间开销，计算神经网络均衡器的优化重起点及对应的期望开销；

三、将优化重起点作为训练过程的控制参数，利用发送端传送的训练序列训练神经网络均衡器，如果训练开销超过优化重起点所对应的期望开销，则随机化神经网络的权值参数和偏移参数，重起训练过程；

四、神经网络均衡器训练收敛后，其输出补偿失真的无线信号。

2、根据权利要求1所述的神经网络均衡器的优化训练方法，其特征在于，所述步骤二计算神经网络均衡器的优化重起点的公式是

$E_r\left(n\right)=\frac{(1-P_n)}{P_n}n+E_l,$

其中，n为重起点，E_r(n)为以n为重起点的随机重起训练过程的计算开销期望，P_n是训练过程在计算开销n之内完成的概率，E_l(n)为假设训练过程在计算开销n之内完成的条件下计算开销的条件期望。

Images