CN109194423A - 基于优化的长短期记忆模型的单频点频谱预测方法 - Google Patents

Abstract

本发明公开了一种基于优化的长短期记忆模型的单频点频谱预测方法。该方法通过在该信道上测得的历史频谱数据挖掘出频谱数据间内在规律和关联，把握频谱状态的演变规律，从而预测将来时刻的频谱状态。步骤如下：构建数据集，滑动固定长度的窗口，下一个时隙的频谱数据作为预测的标签；超参数优化，基于古田实验设计方法结合交叉验证，选择较好的模型配置；从分类的角度搭建基于深度学习的预测模型，并用训练集训练；将测试集输入到训练好的预测模型中，得到下一时隙的预测结果。本发明能够较好地预测出频谱演变规律。

Description

基于优化的长短期记忆模型的单频点频谱预测方法

技术领域

本发明属于无线通信技术领域，具体地说，是一种基于优化的长短期记忆模型的单频点频谱预测方法。

背景技术

随着无线通信技术的发展和移动设备的增多，频谱使用需求激增。此外，频谱资源采用固定式分配，部分频带存在使用效率低下的问题。因此，有限的频谱资源利用率却不高的这种现状，导致了用户用频需求与频谱资源供应之间的矛盾，频谱资源显得日益匮乏。为解决这类矛盾从而提高频谱利用率，认知无线电提出了动态频谱接入策略，即非授权用户在对授权用户不施加有害干扰的前提下利用信道空闲的时隙进行通信，一旦授权用户需要通信时非授权用户就切换到其他空闲频点上。认知无线电中常常采用频谱感知或者频谱预测来捕捉空闲的信道，其中频谱感知基于各种不同的信号检测方法判断信道状态，而频谱预测通过已知的历史数据挖掘出频谱内在的演变规律，从而推断出将来可能的频谱状态。关于频谱预测的现有研究，大多数都是基于统计模型或者是浅层学习模型。频谱数据本质上是时间序列，与时间有很大的关系，但是这些模型缺乏时序概念，对时间序列的建模能力不强，因此这些频谱预测模型的性能有待提升。如何构建预测模型更好地挖掘出频谱演变态势规律，从而提高频谱预测性能是具有研究意义的。

一般来说，频谱预测主要有两方面工作：一是预测信道占用状态，二是预测信道质量。预测信道状态时，原始频谱数据与阈值相比转换成二进制0、1序列，0代表信道空闲，1代表信道占用。实际上二进制序列与阈值的选择有很大关系，而且丢失了大量的原始数据信息，不利于了解和掌握具体的频谱状态演变情况。而在预测信道质量时，常常从回归的角度通过自回归移动平均模型(ARIMA)或者支持向量回归模型(SVR)预测该时间序列，但是这些模型仍然存在一些不足。ARIMA模型趋向于将历史数据的均值作为预测值，而SVR模型则缺乏结构化的方法来确定模型参数。

大多数频谱预测模型基于给定的历史数据预测下一时隙的频谱值，从未考虑到历史频谱数据间的时序关系并进行挖掘。

发明内容

本发明的目的在于为频谱预测提供一种新的思路，基于优化的长短期记忆模型进行单频点频谱预测，从而提高预测的准确率。

实现本发明目的的技术解决方案为：

一种基于优化的长短期记忆模型的单频点频谱预测方法，包括以下步骤：

步骤1，所有的原始频谱数据进行等间隔量化，量化后的频谱数据采用最大最小值归一化方法将它们的数值映射到[a,b]范围，完成数据的预处理。

步骤2，基于预处理后的单频点频谱数据，采用监督式学习方法构造样本数据集，即固定长度的窗口内的频谱数据作为样本的输入，下一时隙对应的实测值所属的量化类别作为样本的标签，窗口逐时隙地向下滑动，形成一个个样本，数据集随之构造完成，被划分成训练集和测试集；

步骤3，筛选出长短期记忆模型中需要优化的五类超参数并确定好每一类超参数的四项可选数值，优化超参数的实验采用古田正交实验设计方法，每个实验中超参数有固定的设置组合，基于训练集作交叉检验，并统计得到各实验中模型的平均预测准确率，预测准确率最高的实验中超参数的配置即为最优；

步骤4，基于挑选出的最佳超参数配置构建长短期记忆模型，并利用数据集中的训练集训练模型，基于Adam算法调整神经网络参数，使得预测类别和实际类别的交叉熵达到最小值；

步骤5，神经网络训练完成后，利用数据集中的测试集进行测试，根据预测结果计算预测准确率。

进一步地，步骤1所述单频点频谱数据等间隔量化后为一个列向量，将其映射到[a,b]的最大最小值归一化方法为：

X_scaler＝X_std*(b-a)+a (2)

其中X_max,X_min指的是量化后的所有频谱数据中的最大最小值，b和a分别是映射区间的上界和下界，常常取值1，-1。X_std表示映射因子，而X_scaler表示经过最大最小值归一化后得到的数值。

进一步地，步骤3所述长短期记忆模型的最佳超参数设置由结合了交叉检验的古田正交实验获得。古田实验设计方法起源于工程实践中的质量控制，属于正交实验设计方法。当预测模型的评价指标受5种超参数因素影响，且每个影响因素具有4种层次可以选择时，实验设计可以以表L₁₆(4⁵)来表示，下标16指代实验进行的次数。实验中各影响因素组合并正交，组合设置均不同，相应的神经网络模型在训练集上进行K维交叉检验。训练集被分成K个子集，某一个子集为测试集时，其余子集担任训练集训练神经网络模型，测试并计算得到相应的预测准确率。K个正确率的均值即为该实验设置下神经网络的预测准确率，预测准确率最高的情况超参数的设置即被选择为最优参数。

进一步地，步骤4所述基于挑选出的最佳超参数配置构建长短期记忆模型，并利用数据集中的训练集训练模型，采用Adam算法调整神经网络参数，使得预测类别和实际类别的交叉熵达到最小值。预测类别和实际类别的交叉熵计算如下：

其中y(x)和分别代表样本实际类别和预测类别的概率分布，n为训练样本数。

Adam算法在最小化交叉熵时收敛较快，具体流程如下：

1、对以下参数进行初始化：学习速率ε，矩估计的指数衰减速率ρ₁,ρ₂，用于数值稳定的小常数δ，神经网络参数θ。并且初始化一阶矩变量s₀＝0、二阶矩变量r₀＝0以及时间步t＝0；

2、从训练集中采集m个样本{x⁽¹⁾,...,x^(m)}的小批量，对应目标为y⁽ⁱ⁾。计算梯度：

3、t增加1，更新有偏一阶矩估计和有偏二阶矩估计:

s_t←ρ₁s_t-1+(1-ρ₁)g_t (5)

r_t←ρ₂r_t-1+(1-ρ₂)g_t⊙g_t (6)

4、修正一阶矩和二阶矩的偏差：

5、逐元素计算更新：

6、循环上述2到5步骤，直到θ_t收敛。

进一步地，步骤5中，根据预测结果统计该频点的正确率，该频点的正确率计算如下：

其中N为测试集中样本数目，flag_k表示第k个样本的预测状态，当预测类别和标签类别相同时预测状态为1，反之则为0。

本发明与现有技术相比，其显著优点在于：(1)充分考虑了频谱数据间的时序关系，提出更加准确、更加合适的深度学习模型，能更好地捕捉到历史频谱数据内部的时间演变规律然后预测；(2)利用古田实验设计方法，简化了复杂的神经网络超参数选择问题，并能选择出较优的超参数设置；(3)针对单频点频谱预测问题，不同于常见的二进制预测或回归预测，提出从分类的角度去预测频谱的有限个状态。

附图说明

图1是本发明所提出的长短期记忆模型示意图。

图2是本发明中所提方案确定模型最佳结构的流程。

图3是传统多层感知器模型示意图。

图4是本发明实施例中单频点模型方法与多层感知器模型方法在某频点上的多次预测性能比较示意图。

图5是本发明实施例中模型方法与多层感知器模型方法在GSM1800频段的预测性能比较示意图。

图6是本发明实例中模型方法与多层感知器模型方法在GSM1800频段预测性能的累积分布函数。

具体实施方式

本发明的主要步骤如下：构建数据集，滑动固定长度的窗口，下一个时隙的频谱数据作为预测的标签；超参数优化，基于古田实验设计方法结合交叉验证，选择较好的模型配置；从分类的角度搭建基于深度学习的预测模型，并用训练集训练；将测试集输入到训练好的预测模型中，得到下一时隙的预测结果。

本发明所提出的基于优化的长短期记忆模型，旨在充分利用按照时间顺序实测得到的频谱数据，并捕捉其隐含的内在规律。考虑到单频点频谱数据作为一个时间序列，实测值不仅与历史数据有关，还与测量时间有关。例如，在两个不同的时刻即使历史数据相同的话，这两个时刻的频谱值也并不一定相同。并没有像传统的多层感知器(Multiple layerperceptron,MLP)一样将历史频谱数据看成是简单的数据集合，历史频谱数据按照时隙顺序依次输入到长短期记忆(Long short-term memory,LSTM)模型中，每输入一个频谱值，该长短期记忆模型利用上一时隙存储在神经元内的细胞状态和这个输入值来更新细胞当前时隙的状态和确定神经元的输出结果。长短期记忆模型输出层最后一个时隙的输出即为预测值，在模型训练过程中样本的标签和预测值间的误差最小化作为优化目标。

下面结合说明书附图对本发明作进一步说明。

图1是本发明所提出的基于优化的长短期记忆分类模型，模型框架由输入层、隐藏层和输出层构成，但是每个神经元除了与其他层的神经元有连接外自身还带有反馈。固定长度的单频点历史频谱数据一次输入一个值，所以输入层仅一个神经元。由于是分类问题，输出层采用Softmax作为激活函数。整个网络由于存在反馈，可以按照时域展开，当前时刻某神经元的输出不仅是输入元素的函数，而且与上一时刻该神经元的状态有关。本发明的模型中单个神经元的数学计算如下：

s_t＝o_t⊙tanh(c_t) (6)

其中x_t,s_t,c_t分别表示在t时刻单个神经元的输入、隐藏状态矢量和记忆细胞。⊙表示哈德曼积，带有i,o,f上、下标的W和b则分别是是权重矩阵和偏置向量。深度学习超参数的选择由古田设计实验的实验结果确定。

图3是传统多层感知器线性模型，左图是网络整体结构，右图是神经元具体结构。固定长度的历史频谱数据作为一个整体输入到该模型的输入层，神经元个数即为窗口长度。输出层采用线性函数作为其激活函数。结合图3，多层感知器是一种全连接前向网络，两个相邻层中各个神经元都相互连接，但是同层之间神经元互不相连。单个神经元的数学操作为：

其中ω,b是神经元的参数，为激活函数，将求和结果映射到某区间。

本发明的基本思想是，在频谱预测中，由于信道状态的二进制序列会丢失大量的原始数据信息，通过多级量化原始数据使得可以从分类的角度做预测。而传统的预测模型没有很好地考虑到频谱数据的时间特性，因此需要搭建一种能掌握到数据内在时序演变特征的预测模型。结合图1，可以看出神经元的反馈在时域上展开，恰好和数据的时序演变特征具有一致性。

本发明基于频谱数据间的时间顺序关系，考虑采用比较适合处理时间序列问题的长短期记忆模型在单频点上进行频谱预测。采用古田实验设计方法进行实验，解决网络超参数的确定这一复杂问题。将训练时的优化目标设计为交叉熵，以达到最大化预测准确率的目标。本发明是基于优化的长短期记忆模型的单频点频谱预测方法，包括以下步骤：

步骤1，对所有的原始频谱数据进行等间隔量化，量化后的频谱数据采用最大最小值归一化方法将它们的数值映射到[a,b]范围，完成数据的预处理；

步骤2，基于预处理后的单频点频谱数据，采用监督式学习方法构造样本数据集，即固定长度的窗口内的频谱数据作为样本的输入，下一时隙对应的实测值所属的量化类别作为样本的标签，窗口逐时隙地向下滑动，形成一个个样本，数据集随之构造完成，被划分成训练集和测试集；

步骤3，筛选出长短期记忆模型中需要优化的五类超参数并确定好每一类超参数的四项可选数值，优化超参数的实验采用古田正交实验设计方法，每个实验中超参数有固定的设置组合，基于训练集作交叉检验，并统计得到各实验中模型的平均预测准确率，预测准确率最高的实验中超参数的配置即为最优；

步骤4，基于挑选出的最佳超参数配置构建长短期记忆模型，并利用数据集中的训练集训练模型，基于Adam算法调整神经网络参数，使得预测类别和实际类别的交叉熵达到最小值；

步骤5，神经网络训练完成后，利用数据集中的测试集进行测试，根据预测结果计算预测准确率。

本发明的具体实施如下：

一、步骤1所述所有的原始频谱数据等间隔量化后，单频点频谱数据为一个列向量，按照最大最小值归一化方法映射到[a,b]的方法为：

X_scaler＝X_std*(b-a)+a (9)

其中X_max,X_min指的是量化后的所有频谱数据中的最大最小值，b和a分别是映射区间的上界和下界，常常取值1，-1。X_std表示映射因子，而X_scaler表示经过最大最小值归一化后得到的数值。

二、步骤2所述数据集构造，经过量化后样本标签仅仅只有有限多个。在分类中标签需要经过one-hot编码，即标签类别转化成除相应位置元素为1之外其余元素均为0的一个列向量。

三、步骤3所述影响长短期记忆预测模型准确率的超参数主要考虑以下五个：深度学习神经网络中隐层数目，每个隐藏层中的神经元个数、参数初始化方法、训练时的学习速率以及神经元的激活函数。每个影响因素都有四种层次可以选择，则古田正交实验设计方法可以用表L₁₆(4⁵)表示，下标16指代实验进行的次数。实验中各影响因素组合并正交，按照表2进行基于训练集的三维交叉频谱预测实验。16次实验中预测结果最高的超参数设置即为挑选出的较优的影响因素。

表2考虑五个因素，每个因素有四种层次的古田实验设计表

四、步骤4所述长短期记忆预测模型训练过程，在步骤3的实验中确定出较优的超参数组合，从而搭建好完整的神经网络框架，用该频点的训练集训练网络，具体流程图见图2。训练过程如下：

1)初始化：长短期记忆模型中每个神经元的所有参数按照设置的某种分布随机产生初始值。

2)前向计算误差：预测模型通过多个隐藏层计算得到输出值，和标签相比存在预测误差。最小化预测误差，也即是模型的优化目标为交叉熵，在分类任务中常常被用作目标优化函数，具体如下：

其中y(t)和分别表示真实类别和预测类别的概率分布，而n表示样本数量。

3)反向更新参数：根据链式法则误差从输出层反向传播到各隐藏层和输入层，基于Adam算法更新神经元各参数。

4)神经网络按照步骤2、3遍历所有样本，就完成一次迭代。迭代总次数完成，整个神经网络的训练过程也即完成。

实施例1

本发明的一个具体实施例如下描述，系统仿真采用keras平台和python语言，频谱数据采用德国亚琛大学频谱测量活动中GSM1800下行频段的频点。该实施例验证所提模型与方法的稳定性和与优越性(图3和图4)。以1863.6MHz这个频点为例，预处理时首先进行8级量化，并根据式(1)映射到区间[-1,1]。构造数据集时，窗口大小设置成120，时间跨度约为3.5s，训练集和测试集按照4：1的比例划分。训练时批处理大小为150，迭代总次数为100，能保证收敛。在确定深度学习模型超参数时考虑以下五个因素，并且每个因素都可以有四种层次选择，如表1所示。

表1考虑五个影响因素，四种层次时对应的数值

相应地，结合古田实验设计方法，超参数影响因素的排列组合共有16个，如表2所示。训练集被分成三个子集，在每次实验中均进行三维交叉检验，平均预测准确率可以用来评价该次实验中的深度学习预测模型。本发明提出的深度学习预测模型每次实验的具体过程如下：

步骤1：按照实验设置的网络超参数搭建网络，并初始化网络中各神经元的参数；

步骤2：输入前向传播：固定长度的历史数据经过输入层、隐藏层以及输出层的层层计算，得到输出结果。然后计算输出结果和标签值之间的误差即交叉熵。

步骤3：误差反向传播：根据链式法则误差由输出层反向传播到各个隐藏层和输入层，按照Adam算法更新神经元的各种参数。

步骤4：按照步骤2、3遍历所有训练集样本，完成一次迭代。深度学习模型的训练过程一直到所有的迭代都完成之后才结束。

步骤5：将测试集输入到训练好的深度学习模型中进行预测，并计算预测准确率。

表2为预测1863.6MHz频点时超参数配置优化进行的16次实验结果，可以看到最佳神经网络的配置为：每个隐藏层神经元数目为10个，2个隐藏层，初始化方法为Glorotuniform分布，激活函数为Sigmoid以及学习速率为0.005，在表2中用粗体表示。图4为按照最佳配置搭建的模型和传统多层感知器模型对1863.6MHz这个频点进行十次预测的结果。从图4中可以看出，两个模型的预测准确率都有一定的波动，但是深度学习预测模型平均准确率更高，波形幅度更小。图5展示了在GSM1800下行频段各频点上，所提深度学习模型与多层感知器方法模型的预测性能比较。图6展示了两种模型在GSM1800下行频段预测性能的累计分布函数。仿真时两种预测模型的隐层数目、隐层中神经元数目、学习速率、初始化方法和激活函数设置都相同。从图5可以看出，所提方法模型较传统方法模型在大部分频点上预测性能有较大提升；从图6上看，对于LSTM分类模型来说，约90％的频点预测准确率都在94％以内，而MLP线性模型的话预测准确率在92％左右。

综上，本发明提出的基于优化的深度学习模型的频谱预测方法充分考虑频谱数据间的时间顺序关系，有效提升了频谱预测的准确率；利用古田实验设计方法确定了深度学习模型超参数的最佳配置，简化了模型参数选择问题；同时频谱数据经过多级量化从分类的角度进行预测，避免了二进制信道状态序列丢失信息的缺陷，与回归预测相比也在一定程度上减少了计算复杂度，该频谱预测模型更有优势。

Claims (5)

1.一种基于优化的长短期记忆模型的单频点频谱预测方法，其特征在于包括以下步骤：

步骤1，对所有的原始频谱数据进行等间隔量化，量化后的频谱数据采用最大最小值归一化方法将它们的数值映射到[a,b]范围，完成数据的预处理；

步骤2，基于预处理后的单频点频谱数据，采用监督式学习方法构造样本数据集，即固定长度的窗口内的频谱数据作为样本的输入，下一时隙对应的实测值所属的量化类别作为样本的标签，窗口逐时隙地向下滑动，形成一个个样本，数据集随之构造完成，并划分成训练集和测试集；

步骤3，筛选出长短期记忆模型中需要优化的五类超参数，并确定好每一类超参数的四项可选数值，优化超参数的实验采用古田正交实验设计方法，每个实验中超参数有固定的设置组合，基于训练集作交叉检验，并统计得到各实验中模型的平均预测准确率，预测准确率最高的实验中超参数的配置即为最优；

步骤4，基于挑选出的最佳超参数配置构建长短期记忆模型，并利用数据集中的训练集训练模型，基于Adam算法调整神经网络参数，使得预测类别和实际类别的交叉熵达到最小值；

步骤5，神经网络训练完成后，利用数据集中的测试集进行测试，根据预测结果计算预测准确率。

2.根据权利要求1所述的单频点频谱预测方法，其特征在于：步骤1所述频谱数据等间隔量化后为一个列向量，最大最小值归一化映射到[a,b]的方法为：

X_scaler＝X_std*(b-a)+a (2)

其中，X_max,X_min是量化后的所有频谱数据中的最大和最小值，b和a分别是映射区间的上界和下界，取值1，-1；X_std表示映射因子，X_scaler表示经过最大最小值归一化后得到的数值。

3.根据权利要求1所述的单频点频谱预测方法，其特征在于：步骤3所述长短期记忆模型的最佳超参数设置由结合了交叉检验的古田正交实验获得，需要优化的超参数种类有5类，而且每类超参数的可选项有4项，根据古田正交实验设计方案共有16次实验；每次实验中，超参数的组合设置均不同，相应的神经网络模型在训练集上进行交叉检验，并统计得到该实验设置下神经网络的预测准确率，预测准确率最高的实验中超参数的设置即被选择为最优参数。

4.根据权利要求1所述的单频点频谱预测方法，其特征在于：所述步骤4中神经网络通过Adam算法使得训练集样本的预测类别和实际类别的交叉熵达到最小值，预测类别和实际类别的交叉熵计算如下：

其中，y(x)和分别代表样本实际类别和预测类别的概率分布，n为训练样本数；Adam算法在最小化交叉熵时收敛较快，具体流程如下：

1、对以下参数进行初始化：学习速率ε，矩估计的指数衰减速率ρ₁,ρ₂，用于数值稳定的小常数δ，神经网络参数θ，并且初始化一阶矩变量s₀＝0、二阶矩变量r₀＝0以及时间步t＝0；

2、从训练集中采集m个样本{x⁽¹⁾,...,x^(m)}的小批量，对应目标为y⁽ⁱ⁾，计算梯度：

3、t增加1，更新有偏一阶矩估计和有偏二阶矩估计:

s_t←ρ₁s_t-1+(1-ρ₁)g_t (5)

r_t←ρ₂r_t-1+(1-ρ₂)g_t⊙g_t (6)

4、修正一阶矩和二阶矩的偏差：

5、逐元素计算更新：

6、循环上述2到5步骤，直到θ_t收敛。

5.根据权利要求1所述的单频点频谱预测方法，其特征在于：步骤5中，根据预测结果统计该频点的正确率，该频点的正确率计算如下：

其中N为测试集中样本数目，flag_k表示第k个样本的预测状态，当预测类别和标签类别相同时预测状态为1，反之则为0。