CN110502806B - 一种基于lstm网络的无线频谱占用度预测方法 - Google Patents

Abstract

本发明涉及到无线频谱分析领域，具体为一种基于LSTM网络的无线频谱占用度预测方法。本发明将ARIMA模型和Kalman滤波算法结合，以克服ARIMA模型存在的局限性，Kalman滤波算法的初值由ARIMA模型决定,相得益彰。考虑到LSTM神经网络对非线性关系有很强的捕捉能力，本发明将构建ARIMA与Kalman和LSTM组合预测模型，即利用ARIMA与Kalman混合模型提取频段占用度序列数据中存在的线性关系，LSTM对混合模型剩余残差中未提取的非线性部分进行提取，将拟合信息叠加到ARIMA与Kalman混合模型中。所以本发明结合了ARIMA与Kalman与LSTM网络的优点，既可以对平稳序列进行分析，也可以对非平稳序列进行分析，同时还可以很好的提取线性和非线性的信息。

Description

一种基于LSTM网络的无线频谱占用度预测方法

技术领域

本发明涉及到无线频谱分析领域，具体为一种基于LSTM网络的无线频谱占用度预测方法，使用LSTM进行无线频谱占用度预测，并使用ARIMA结合Kalman的混合模型对其进行改进。

背景技术

目前，应用与频谱预测的方法很多，总结起来归纳为两类：

1)基于统计分析方法:2012年王磊等针对传统频谱占用度自回归移动平均(ARMA)模型由于未考虑序列的条件二阶矩,导致无法准确描述频谱占用状态的非线性时变特性问题,该文提出一种基于指数广义自回归条件异方差(EGARCH)过程的频谱占用状态时间序列建模方法。研究结果表明EGARCH模型能够量化反映频谱占用状态的复杂非线性时变过程。2016年，李红岩等人通过分析不同尺度下频谱状态序列的特点，运用递归图技术从定性和定量两个方面分析了频谱的可预测性。提出一种基于支持向量机的频谱预测模型，该方法与采用神经网络的预测模型相比，其预测绝对百分比误差在4％以内。2018年陈曦等人针对频谱感知错误累积引起的频谱预测性能恶化问题，提出最小损失预测模型。该模型可以有效解决因频谱感知误差累积而造成频谱预测性能下降的问题，同时改善次用户动态频谱接入性能。

2)基于人工神经网络方法：2012年，V.Tu-muluru等人提出基于神经网络的频谱预测方法，采用反向传播算法训练网络模型，可以较好的提取频谱序列中的非线性信息。2014年，庞博、谢卓辰等人根据历史频谱信道占用情况，提出多层反馈神经网络预测模型。2017年，胡翩翩和曾碧卿等人剔除一种基于和声搜索优化的反馈神经网络频谱预测算法，通过和声搜索算法的全局寻优能力得到神经网络的最优初始权值和阀值，提高频谱预测的准确性及频谱利用率。2017年，杨健等人提出提出一种遗传算法优化的神经网络模型，通过遗传算法选择、交叉、变异阶段加入随机性，使得种群个体收敛到全局最优解的集合内，再通过反向传播算法确定网络参数，该模型预测准确率比原来提高一倍。

目前，人工神经网络已成为应用于频谱预测领域最为广泛的主要方法，并且人工神经网络能够较好地提取非线性信息。但是现有无线频谱占用度预测方法均未明确其适应性(线性信息和非线性信息提取、非平稳序列能否处理)，且手段相对单一。

发明内容

针对上述存在问题或不足，为解决现有无线频谱占用度预测方法相对单一以及适用性的问题，本发明提供了一种基于LSTM网络的无线频谱占用度预测方法，通过充分结合传统频谱占用度预测方法和神经网络的优点，有效的实现了频谱占用度的预测，能兼顾线性信息和非线性信息提取以及处理非平稳序列。

一种基于LSTM网络的无线频谱占用度预测方法，包括以下步骤：

步骤1)首先建立一个ARIMA模型，包括：观测序列平稳性分析、纯随机性检验、观测序列预处理、模型识别与定阶、参数估计、模型检验和模型优化。

步骤2)然后考虑Kalman滤波状态转移方程和观测方程，定义线性动态系统的量测方程如式(1)所示：

其中，设y_t是包含k个变量的k×1维可观测向量，Z_t∈R^k×m是观测矩阵，s_t为m×1维状态向量，d_t表示k×1向量，u_t∈R^k×1是均值为0、协方差矩阵为H_t的不相关扰动项，t为时间自变量，T表示样本的长度，E(u_t)表示u_t均值，Var(u_t)表示u_t的协方差矩阵；

一般地，s_t是不可观测的，然而可以表示成一阶马尔科夫过程。线性动态系统状态方程定义如式(2)所示：

式中T_t∈R^m×m状态转移矩阵，c_t表示m×1向量，R_t表示m×g扰动项转移矩阵，t表示时间自变量，T表示样本长度，ε_t∈R^g×1是均值为0、协方差矩阵为Q_t的连续的不相关扰动项，E(ε_t)表示ε_t均值，Var(ε_t)表示ε_t协方差矩阵。

量测方程中的矩阵Z_t,d_t,H_t与状态方程中的矩阵T_t,c_t,R_t,Q_t统称为系统矩阵，均假定为非随机；对于任意时刻t，y_t被表示为当前的和过去的u_t和ε_t及初始向量s₁的线性组合。

步骤3)如果频谱占用度观测值序列是非平稳序列，通过一阶或多阶差分运算将其转化为平稳序列；如果是平稳序列直接进行后续步骤；当频谱占用度序列转化为平稳序列之后，ARIMA模型变为ARMA模型，将ARMA模型转化为状态空间模型的形式，以把ARIMA模型和Kalman滤波算法结合起来；将第一个时刻的频谱占用度序列通过已构建的ARIMA模型，得到Kalman滤波算法的初值s_1|0和∑_1|0，迭代更新Kalman滤波算法的状态方程和观测方程，从而获得下一时刻的预测结果。

步骤4)再来考虑LSTM网络输入输出形式与网络结构设计，在训练数据集中相邻两个占用度occu_1+t与occu_2+t的时间跨度是t(t＝(1,2,3,...))也称为一步；经过训练样本训练得到最优LSTM网络，将目标数据集经过预处理输入到训练好的LSTM网络得到LSTM网络的输出值，将LSTM网络输出值进行反归一化得到最终结果。

数据预处理：将训练数据集归一化到[-1,1]，具体处理方法如式(15)所示：

式中，t表示时间，x(t)表示t时刻对应的占用度值，x_mean(t)表示t时刻输入的平均值，x_max表示t时刻输入的最大值，x_min表示t时刻输入的最小值。

步骤5)以ARIMA-Kalman混合模型拟合原始频段序列数据，提取序列数据中的线性信息，同时，利用LSTM网络对混合模型剩余残差序列进行拟合，提取蕴藏其中的非线性信息，将线性信息与非线性信息进行叠加得到最终预测结果。

LSTM是一种特定形式的循环神经网络，它引入了细胞状态这样一个概念，不同于RNNs只考虑最近的状态，LSTM的细胞状态会决定哪些状态应该被留下来。但是LSTM对线性信息提取性能还有待提高，于是加入ARIMA与Kalman的混合模型。ARIMA模型能够很好的处理平稳和非平稳序列，具有良好的预测精度，非平稳序列可以通过一定的差分转化后平稳，但是有一定的滞后性。Kalman滤波算法虽然也能够用来做状态预测，局限于系统的数学模型和统计噪声未知，未能精确建模。

本发明将ARIMA模型和Kalman滤波算法结合，以克服ARIMA模型存在的局限性，Kalman滤波算法的初值由ARIMA模型决定,相得益彰。考虑到LSTM神经网络对非线性关系有很强的捕捉能力，本发明将构建ARIMA与Kalman和LSTM组合预测模型，即利用ARIMA与Kalman混合模型提取频段占用度序列数据中存在的线性关系，LSTM对混合模型剩余残差中未提取的非线性部分进行提取，将拟合信息叠加到ARIMA与Kalman混合模型中。所以本发明结合了ARIMA与Kalman与LSTM网络的优点，既可以对平稳序列进行分析，也可以对非平稳序列进行分析，同时还可以很好的提取线性和非线性的信息。

附图说明

图1为ARIMA模型建模过程图；

图2为LSTM网络输入输出结构图；

图3为LSTM网络结构示意图；

图4为基于LSTM网络的频谱预测流程图；

图5为本发明实施例的频谱预测流程图；

图6为本发明实施例和现有技术在测试数据上的预测结果对比图。

具体实施方式

下面结合附图和实施例对本发明做进一步的详细说明。

步骤1)建模步骤如图1，图中ACF表示自相关系数、PACF表示偏自相关系数。如果建模过程进行了差分运算，通过差分还原得到最终的分析结果；否则直接得到预测结果。

步骤3)从图1中可以看出，如果频谱占用度观测值序列是非平稳序列，通过一阶或多阶差分运算将其转化为平稳序列；如果是平稳序列直接进行后续步骤。当频谱占用度序列转化为平稳序列之后，ARIMA模型变为ARMA模型，于是使用Harvey转化方法将ARMA模型转化为状态空间模型的形式，就可以把ARIMA模型和Kalman滤波算法结合起来；将第一个时刻的频谱占用度序列通过已构建的ARIMA模型，得到Kalman滤波算法的初值s_1|0和Σ_1|0，式(12)和(13)迭代更新Kalman滤波算法的状态方程和观测方程，从而获得下一时刻的预测结果。

ARMA模型为：

y_t是t时刻的观测值，p为自回归阶数，q为移动平均模型阶数，

θ_i为模型参数，ε_t是均值为0、方差为

的白噪声。可以简写为：

式中y_t是t时刻的观测值，

θ_i为模型参数，ε_t是均值为0、方差为

的白噪声。m＝max(p,q+1)，θ_i＝0(i＞p)且θ_j＝0(j＞q)，m＞q，θ_m＝0。

Harvey转化方法给出了具有m维状态向量s_t的状态空间的一种形式。该状态向量的第一个元素为y_t，即s_1t＝y_t，s_t的其他元素通过递推的方式得到。由ARMA(m,m-1)模型，有：

式中

由s_1t＝y_t，则s_2,t+1有：

式中

继续考虑s_3,t+1，有：

式中

继续上述过程，有：

s_m,t+1＝φ_my_t-θ_m-1ε_t+1＝φ_ms_1t+(-θ_m-1)η_t (8)

由式(4)至式(8)可以得到ARMA(p,q)的状态空间模型，如式(9)所示：

式中ε_t是均值为0，方差为

的高斯白噪声，观测矩阵为Z＝(1,0,...,0)_1×m不随时间变化，状态转移矩阵T、随机干扰项转移矩阵R表示为式(10)：

式(9)与式(1)、(2)比较可知，ARMA状态空间模型系统矩阵d_t,c_t和H_t都是零，

通过Harvey转化得到ARMA(p,q)状态空间模型，接下来考虑如何让ARMA模型跟卡尔曼滤波算法结合在一起。卡尔曼滤波算法已有详细推导,这里直接给出卡尔曼滤波算法，具体形式如式(11)所示：

式中v_t表示状态预测误差，y_t是观测值，c_t是常量，Z_t是观测矩阵，

表示Z_t的转置，s_t+1|t表示状态预测值，V_t表示状态一步预测协方差，∑_t|t-1表示给定F_t＝{y₁,y₂,...,y_t-1}条件下s_t的条件协方差矩阵，H_t表示观测扰动协方差矩阵，T_t状态转移矩阵,K_t表示卡尔曼增益，

表示V_t的逆矩阵，R_t表示干扰项转移矩阵，Q_t是干扰项协方差矩阵，

是R_t的转置矩阵，T表示样本个数。结合式(1)、(2)、(9)、(10)、(11)，可知，ARMA模型结合Kalman滤波算法的具体形式如(12)所示：

式中v_t表示状态预测误差，K_t表示卡尔曼增益，s_t+1|t表示状态预测值，∑_t|t-1表示给定F_t＝{y₁,y₂,...,y_t-1}条件下s_t的条件协方差矩阵。

为了对混合模型进行迭代更新，需要确定混合模型的初值，因此将第一个时刻的频谱占用度序列通过已构建的ARIMA模型，得到Kalman滤波算法的初值s_1|0和∑_1|0，由于序列{y_t}已经做了中心化处理，均值为0，初值s_1|0＝(s_1t,s_2t,...,s_mt)^T＝(0,0,...,0)^T，其中s_mt＝φ_my_t-1-φ_m-1ε_t，初值∑_1|0为s_1|0的协方差矩阵。由确定的初值和式(12)可以递推得到状态序列{s_t}，由ARMA(p,q)状态空间模型可得观测序列的预测值如式(13)所示：

y_t+1＝Zs_t+1 (13)

Z表示观测矩阵，s_t+1表示状态预测值，y_t+1表示观测序列预测值。

步骤4)再来考虑LSTM网络输入输出形式与网络结构设计，图2是针对某频段占用度序列设计的训练数据结构，在图2中，t(t＝(1,2,3,...))表示时间的跨度。频谱监测系统按照设定的间隔对周围的电磁环境进行采集，获取每个频段对应时刻的占用度值，经过一段时间的采集获得训练数据集。因此，在训练数据集中相邻两个占用度occu_1+t与occu_2+t的时间跨度是设定的间隔时间，也称为一步。

根据LSTM网络训练数据集输入输出特点，对LSTM网络结构进一步设计，设计结构图如图3所示。图中，LSTM网络预测模型由一个输入层、一个输出层和一个或多个隐含层组成，隐含层和神经元的个数通过逐层调参的方式来确定，即先假设隐含层只有一层，通过不断改变神经元的个数来寻找最优神经元数量。确定第一层隐含层神经元数量之后，把隐含层数量增加到两层，同时调整神经元数量，以此类推直到损失函数不再减小。确定隐含层个数和神经元个数时，固定学习率为0.1，激活函数为tanh。

损失函数计算如式(14)所示：

接下来讨论LSTM网络的频谱预测流程，如图4所示，图中epoch是当前模型迭代的总轮数，iterator表示本轮训练迭代次数。

4.1)数据预处理：为了加快模型训练速度，方便分析，将训练数据集归一化到[-1,1]，具体处理方法如式(15)所示：

式中，t表示时间，x(t)表示t时刻对应的占用度值，x_mean(t)表示t时刻输入的平均值，x_max表示t时刻输入的最大值，x_min表示t时刻输入的最小值。

4.2)权重初始化：这里采用0均值、方差为0.01的高斯分布对输入门限层、遗忘门限层、输出门限层、候选层权值进行初始化。

4.3)初始学习率选择以及学习率调整：确定隐层层数以及隐层神经元个数之后，比较网络在学习率为1、0.1、0.5、0.01、0.001、0.0001时损失函数随迭代次数变化的情况，选择损失函数收敛到最小值的学习率作为初始学习率。如果测试集上模型的精度停止增加，把学习率往上调整至0.1。

4.4)模型权值确定：确定学习率之后，对网络分别以ReLU、Sigmoid或Tanh作为激活函数，选择收敛到最小值的激活函数作为激活函数。然后采用梯度下降法对网络中的神经元连接权进行更新，直到本次误差满足要求或达到最大迭代次数。误差函数计算如式(14)所示：

4.5)输出值还原：根据需要预测的时间范围，依次输入对应范围内的数据到训练好的LSTM网络，获得网络输出结果。

4.6)反归一化：将网络输出结果进行反归一化，即可得到频段占用度在距离现在t(时间间隔)时刻的使用情况，并参照未来实际采集的占用度序列，利用MAE平均绝对误差、MSE均方误差、RMSE均方根误差以及R²R方做为评估准则对模型预测结果进行分析。

步骤5)以ARIMA-Kalman混合模型拟合原始频段序列数据，提取序列数据中的线性信息，同时，按照步骤4)重新构建的LSTM网络对ARIMA-Kalman混合模型剩余残差序列进行拟合，提取蕴藏其中的非线性信息，将线性信息与非线性信息进行叠加得到最终预测结果。

本发明所用数据是四川某地区周边的电磁环境从2017年10月18日10点15分到2017年10月25日夜间0点15分进行7*24小时监测所得，对频段89～91MHz占用度数据进行建模，对频段89～91MHz占用度数据进行建模，采用赤池信息量准则对模型阶数进行选择，并对模型显著性和参数显著性进行检验，得到最优的时间序列分析模型为ARIMA(2,1,1)。并在ARIMA(2,1,1)的基础上引入Kalman滤波，对89～91MHz频段的占用度数据进行拟合分析，结合式(12)得到ARIMA与Kalman的混合预测模型,模型表达式如下：

图6是两种提取方案在测试数据上的预测结果对比度图，两种方案的流程图如图4和图5所示，单独使用LSTM网络预测时，LSTM网络中含有1个隐含层，该隐含层有7个神经元，学习率为0.01，激活函数为ReLU；在使用ARIMA结合KALMAN与LSTM的组合模型预测时，LSTM网络中含有1个隐含层，该隐含层有5个神经元，学习率为0.001，激活函数为ReLU。从图6中可以看出LSTM网络对未知时刻趋势变化不准确。而ARIMA结合Kalman与LSTM的组合模型由于在ARIMA与Kalman混合模型的基础进行非线性关系提取，具备混合模型的优点，对应趋势点能够准确预测。

使用MAE(平均绝对误差)，MSE(均方误差)，RMSE(均方根误差)以及R²(R方)做为评估准则，具体计算方法如式(16)至式(19)所示：

式中N表示真实值的数目，y_t表示第t个真实值，

表示第t个预测值，Var(y_t)表示y_t的方差。

MSE是预测模型常用的误差准则，评价模型的预测精度，由于MSE采用平方的计算方式，相比MAE，会惩罚较大的误差，对极端值和离群点比较敏感。R²是反映模型拟合优度的重要统计量，为回归平方和与总平方和之比，R²取值在[0,1]范围内，值的大小反映了模型拟合的优劣程度，R²越接近于1，拟合的回归方程越精确。得到两个模型的预测性能评估：

表1 LSTM网络在测试数据集上预测性能评估

从评估结果结合模型在训练数据集上的拟合表现，LSTM神经网络能够很好的拟合原始数据，并在测试集上有良好的预测性能。表2表示ARIMA结合KALMAN与LSTM的组合模型的预测性能评估。

表2组合模型在测试数据集上预测性能评估

评估准则	评估值
		MAE	0.944
MSE	1.779
		RMSE	1.334
R<sup>2</sup>	0.875

从模型评估指标上看组合模型相比LSTM网络，在频段88～91MHz测试数据集上的预测性能较好，预测精度提高了21.14％。对多个频段占用度数据，采用上述两个模型进行分析，得到预测分析结果。

表3 LSTM网络和组合模型预测结果对比

对比表中各项评估指标，可以看出，组合模型相比LSTM网络在测试数据集上能取得较好的预测精度。

Claims (1)

1.一种基于LSTM网络的无线频谱占用度预测方法，包括以下步骤：

步骤1)首先建立一个ARIMA模型，包括：观测序列平稳性分析、纯随机性检验、观测序列预处理、模型识别与定阶、参数估计、模型检验和模型优化；

步骤2)然后考虑Kalman滤波状态转移方程和观测方程，定义线性动态系统的量测方程如式(1)所示：

其中，设y_t是包含k个变量的k×1维可观测向量，Z_t∈R^k×m是观测矩阵，s_t为m×1维状态向量，d_t表示k×1向量，u_t∈R^k×1是均值为0、协方差矩阵为H_t的不相关扰动项，t为时间自变量，T表示样本的长度，E(u_t)表示u_t均值，Var(u_t)表示u_t的协方差矩阵；

s_t表示成一阶马尔科夫过程，其线性动态系统状态方程定义如式(2)所示：

式中T_t∈R^m×m为状态转移矩阵，c_t表示m×1向量，R_t表示m×g扰动项转移矩阵，t表示时间自变量，T表示样本长度，ε_t∈R^g×1是均值为0、协方差矩阵为Q_t的连续的不相关扰动项，E(ε_t)表示ε_t均值，Var(ε_t)表示ε_t协方差矩阵；

量测方程中的矩阵Z_t,d_t,H_t与状态方程中的矩阵T_t,c_t,R_t,Q_t统称为系统矩阵，均假定为非随机；对于任意时刻t，y_t被表示为当前的和过去的u_t和ε_t及初始向量s₁的线性组合；

步骤3)如果频谱占用度观测值序列是非平稳序列，通过一阶或多阶差分运算将其转化为平稳序列；如果是平稳序列直接进行后续步骤；当频谱占用度序列转化为平稳序列之后，ARIMA模型变为ARMA模型，将ARMA模型转化为状态空间模型的形式，以把ARIMA模型和Kalman滤波算法结合起来，并且将第一个时刻的频谱占用度序列通过已构建的ARIMA模型，得到Kalman滤波算法的初值s_1|0和∑_1|0，迭代更新Kalman滤波算法的状态方程和观测方程，从而获得下一时刻的预测结果；

步骤4)再来考虑LSTM网络输入输出形式与网络结构设计，在训练数据集中相邻两个占用度occu_1+t与occu_2+t的时间跨度是t也称为一步,t＝(1,2,3,…)；经过训练样本训练得到最优LSTM网络，将目标数据集经过预处理输入到训练好的LSTM网络得到网络的输出值，将网络输出值进行反归一化得到最终结果；

4.1)数据预处理：将训练数据集归一化到[-1,1]，具体处理方法如式(15)所示：

式中，t表示时间，x(t)表示t时刻对应的占用度值，x_mean(t)表示t时刻输入的平均值，x_max表示t时刻输入的最大值，x_min表示t时刻输入的最小值；

4.2)权重初始化：采用0均值、方差为0.01的高斯分布对输入门限层、遗忘门限层、输出门限层、候选层权值进行初始化；

4.3)初始学习率选择以及学习率调整：确定隐层层数以及隐层神经元个数之后，比较网络在学习率为1、0.1、0.5、0.01、0.001、0.0001时损失函数随迭代次数变化的情况，选择损失函数收敛到最小值的学习率作为初始学习率；如果测试集上模型的精度停止增加，把学习率往上调整至0.1；

4.4)模型权值确定：确定学习率之后，对网络分别以ReLU、Sigmoid或Tanh作为激活函数，选择收敛到最小值的激活函数作为激活函数；然后采用梯度下降法对网络中的神经元连接权进行更新，直到本次误差满足要求或达到最大迭代次数；误差函数计算如式(14)所示：

4.5)输出值还原：根据需要预测的时间范围，依次输入对应范围内的数据到训练好的LSTM网络，获得网络输出结果；

4.6)反归一化：将网络输出结果进行反归一化，即可得到频段占用度在距离现在t时刻的使用情况，并参照未来实际采集的占用度序列，利用MAE平均绝对误差、MSE均方误差、RMSE均方根误差以及R²R方做为评估准则对模型预测结果进行分析；

步骤5)以ARIMA-Kalman混合模型拟合原始频段序列数据，提取序列数据中的线性信息，同时，利用LSTM网络对混合模型剩余残差序列进行拟合，提取蕴藏其中的非线性信息，将线性信息与非线性信息进行叠加得到最终预测结果。

Images