CN110730046B - 基于深度迁移学习的跨频段频谱预测方法 - Google Patents

Abstract

本发明公开了一种基于深度迁移学习的跨频段频谱预测方法。所述频谱预测方法把握频段之间各个信道的相似性，通过在其他频段的信道上测得的历史频谱数据挖掘出频谱数据间内在规律和关联，并迁移至当前频段从而预测当前频段的将来时刻的频谱状态。所述方法步骤如下：选择业务相似的频段，选择最具有相似性的信道，构建数据集，从分类的角度搭建基于深度学习的预测模型，并用训练集训练；将训练成熟的模型参数迁移至目标频段的预测模型中，并在此基础上以较低学习率训练由目标频段数据构建的数据集，并用测试集输入到训练好的预测模型中，得到下一时隙的预测结果。本发明能够较好地通过跨频段方式帮助目标频段补充数据并预测出频谱演变规律。

Description

基于深度迁移学习的跨频段频谱预测方法

技术领域

本发明属于无线通信技术领域，具体地说，是一种基于深度迁移学习的长短期记忆模型的跨频段单频点频谱预测方法。

背景技术

近年来，伴随着软件定义无线电以及认知无线电的发展，动态频谱接入也得到了越来越多人的关注。随着频谱资源越来越稀缺，为了能够结合当前各个频段的使用情况，灵活地使用未被充分使用的频段，需要对各个信道的频谱进行预测分析。当前，对于信道中的频谱预测，已经提出许多的模型从不同的维度对信道中的频谱数据进行预测。在时域维度对频谱进行预测中，即对频谱预测可转换为时间序列的预测问题。

早年的研究中，使用的多是线性预测模型。对未来的值的预测通过历史的数据的线性变换得到。且由于这些线性模型较为简单在频谱预测的很多方面均得到了较好的运用。

随着深度神经网络的发展，将深度神经网络用于频谱预测的工作也取得了很大的进步，深度神经网络是当前应用最多的非线性模型。然而在实际中，往往存在当频谱数据较为稀缺的时候，频谱数据不足将不能较好的训练深度神经网络的问题，而深度迁移学习是解决这个问题的其中一种方法。

深度迁移学习旨在利用成熟的与当前数据集(即为目标域数据集)相似的包含大量数据及成熟的模型的数据集(即为源域数据集)用以解决目标域数据集较少、标签较少、甚至算力不足的情况。

对于频谱预测来说，深度迁移学习的方法能有效减轻大量数据重新训练模型带来的时间消耗和算力的巨大要求。同时，深度迁移学习能有效解决频谱预测模型冷启动的问题，帮助弥补初期训练的数据不足的问题。目前运用的最广泛的深度迁移学习的方法是预训练并微调。即在一个具有大量数据的成熟的深度神经网络上训练成熟的参数导出到目标深度神经网络模型上并进行训练。然而，微调的假设是源域和目标域之间数据分布是相同的，这在实际中是基本不存在的。在频谱在时域上的预测问题，转换为时间序列的问题，不同时间序列之间的相似度也是不一样的。由于不同频段之间各个频点的时间序列是不同的，盲目的选择时间序列进行迁移，往往会形成负迁移，反而影响了对时间序列的分类和预测。

发明内容

本发明的目的在于为频谱预测提供一种新的思路，基于深度迁移学习的长短期记忆模型进行跨频段单频点频谱预测，从而解决当前任务频段数据稀缺的预测问题。

实现本发明目的的技术解决方案为：

一种基于深度迁移学习的长短期记忆模型的跨频段单频点频谱预测方法，包括以下步骤：

步骤1，基于GSM上下行传输业务中移动台与基站状态的相似性，选择数据监测天数为2倍以上的GSM1800UL\DL频段频谱占用数据，分别作为目标任务频段GSM900UL\DL的深度迁移学习的源域频段数据；

步骤2，将当前任务频段各个频点与源域频段各频点数据进行相似性逐一对比，通过动态时间归整算法DTW度量各个频点之间的相似性并排序，选择当前任务频段与源域频段之间最相似的一对频点数据；

步骤3，将当前任务频段及源域频段的所有的原始频谱数据分别进行等间隔量化，量化后的频谱数据采用最大最小值归一化方法将它们的数值映射到[a,b]范围，完成数据的预处理；

步骤4，基于预处理后的源域频段单频点频谱数据，采用监督式学习方法构造样本数据集，即固定长度的窗口内的频谱数据作为样本的输入，下一时隙对应的实测值所属的量化类别作为样本的标签，窗口逐时隙地向下滑动，形成一个个样本，数据集随之构造完成，并划分成训练集和测试集；

步骤5，将源域频段数据作为单频点频谱预测模型的输入，利用数据集中的训练集训练模型，基于Adam算法调整神经网络参数，使得预测类别和实际类别的交叉熵达到最小值，神经网络训练完成后，利用数据集中的测试集进行测试，根据预测结果计算预测准确率；

步骤6，将在源域频段数据训练后的模型的参数进行迁移，作为当前任务频段的单点频谱预测模型的模型初始参数。基于源域频段相同的方式，将源域频段数据作为单频点频谱预测模型的输入，利用数据集中的训练集训练模型，基于Adam算法调整神经网络参数，但将模型学习率调整为原模型的十分之一，经过训练集训练使得预测类别和实际类别的交叉熵达到最小值；

步骤7，使用当前任务频段数据集的训练集对长短期记忆神经网络训练完成后，利用当前任务频段数据集中的测试集进行测试，根据预测结果计算预测准确率。

进一步地，步骤3所述单频点频谱数据等间隔量化后为一个列向量，将其映射到[a,b]的最大最小值归一化方法为：

X_scaler＝X_std*(b-a)+a (2)

其中X_max,X_min指的是量化后的所有频谱数据中的最大最小值，b和a分别是映射区间的上界和下界，常常取值1，-1。X_std表示映射因子，而X_scaler表示经过最大最小值归一化后得到的数值。

进一步地，实验中神经网络模型在训练集上进行K维交叉检验。训练集被分成K个子集，某一个子集为测试集时，其余子集担任训练集训练神经网络模型，测试并计算得到相应的预测准确率。K个正确率的均值即为该实验设置下神经网络的预测准确率，预测准确率最高的情况超参数的设置即被选择为最优参数。

进一步地，步骤4所述神经网络通过Adam算法使得预测类别和实际类别的交叉熵达到最小值。预测类别和实际类别的交叉熵计算如下：

其中y(x)和

分别代表样本实际类别和预测类别的概率分布，n为训练样本数。

Adam算法在最小化交叉熵时收敛较快，具体流程如下：

1、对以下参数进行初始化：学习速率ε，矩估计的指数衰减速率ρ₁,ρ₂，用于数值稳定的小常数δ，神经网络参数θ。并且初始化一阶矩变量s₀＝0、二阶矩变量r₀＝0以及时间步t＝0；

2、从训练集中采集m个样本{x⁽¹⁾,...,x^(m)}的小批量，对应目标为y⁽ⁱ⁾。计算梯度：

3、t增加1，更新有偏一阶矩估计和有偏二阶矩估计:

s_t←ρ₁s_t-1+(1-ρ₁)g_t (5)

r_t←ρ₂r_t-1+(1-ρ₂)g_t⊙g_t (6)

4、修正一阶矩和二阶矩的偏差：

5、逐元素计算更新：

6、循环上述2到5步骤，直到θ_t收敛。

进一步地，步骤5所述根据预测结果统计该频点的正确率，该频点的正确率计算如下：

其中N为测试集中样本数目，flag_k表示第k个样本的预测状态，当预测类别和标签类别相同时预测状态为1，反之则为0。

本发明与现有技术相比，其显著优点在于：(1)充分考虑了不同频段之间的相似性，提出更加适应于解决“冷启动”问题的深度学习模型，能更好地在当前历史频谱数据稀缺的情况下，基于相似频段的频谱数据帮助捕捉到历史频谱数据内部的时间演变规律然后预测；(2)充分考虑了不同频段之间的业务活动情况及相似性度量问题，提出基于频段间频点活动相似的的深度学习模型，能更好地捕捉到历史频谱数据内部的时间演变规律然后预测；(3)针对可能存在负迁移的问题，提出基于动态时间规划的相似性度量并排序，选取最为相似的频点进行深度迁移学习。

附图表说明

图1是本发明所提出的基于迁移学习的跨频段频谱预测模型示意图。

图2是本发明中所提方案完成模型迁移并预测的流程。

图3是本发明实施例中基于迁移学习的长短期记忆模型与朴素长短期记忆模型的预测准确率比较示意图。

图4是本发明实施例中基于迁移学习的长短期记忆模型与朴素长短期记忆模型的预测均方根误差比较示意图。

图5是本发明实施例中基于迁移学习的长短期记忆模型与朴素长短期记忆模型的预测时间损耗比较示意图。

具体实施方式

本发明所提出的基于深度迁移学习的长短期记忆模型，旨在充分利用具有较大数据规模的相似频段数据，解决当前任务频段数据规模小甚至稀缺导致模型训练不充分，无法较好捕捉当前任务频段数据隐含的内在规律。考虑到频段间不同频点数据的相似性不同，盲目进行深度迁移学习可能会导致负迁移的效果。在进行深度迁移学习前，对频段间各个频点进行动态时间归整(Dynamic time warping，DTW)度量跨频点频点间的相似性，选择最相似的频点输入到长短期记忆(Long short-term memory,LSTM)模型中，每输入一个频谱值，该长短期记忆模型利用上一时隙存储在神经元内的细胞状态和这个输入值来更新细胞当前时隙的状态和确定神经元的输出结果。长短期记忆模型输出层最后一个时隙的输出即为预测值，在模型训练过程中样本的标签和预测值间的误差最小化作为优化目标。将经过相似频段数据训练后的模型参数导入到当前任务频段的单频点预测模型中作为模型参数初始值，将当前频段数据作为输入，以较小的学习率进行训练。

下面结合说明书附图对本发明作进一步说明。

图1是本发明所提出的基于深度迁移学习的的长短期记忆分类模型，模型框架由输入层、隐藏层和输出层构成，但是每个神经元除了与其他层的神经元有连接外自身还带有反馈。固定长度的单频点历史频谱数据一次输入一个值，所以输入层仅一个神经元。由于是分类问题，输出层采用Softmax作为激活函数。整个网络由于存在反馈，可以按照时域展开，当前时刻某神经元的输出不仅是输入元素的函数，而且与上一时刻该神经元的状态有关。本发明的模型中单个神经元的数学计算如下：

s_t＝o_t⊙tanh(c_t) (6)

其中x_t,s_t,c_t分别表示在t时刻单个神经元的输入、隐藏状态矢量和记忆细胞。⊙表示哈德曼积，带有i,o,f上、下标的W和b则分别是是权重矩阵和偏置向量。

本发明的基本思想是，在频谱预测中，由于信道状态的二进制序列会丢失大量的原始数据信息，通过多级量化原始数据使得可以从分类的角度做预测。而传统的深度学习单频点预测模型对数据的规模有一定的要求，不利于解决少量频谱数据的预测问题。因此需要搭建一种跨频段的深度迁移学习单频点预测模型，通过图，在数据较为稀缺时，通过源域数据能较好的解决目标域数据稀缺无法单独完成预测模型训练。

本发明的目的在于为频谱预测提供一种新的思路，基于深度迁移学习的长短期记忆模型进行跨频段单频点频谱预测，从而解决当前任务频段数据稀缺的预测问题。本发明一种基于深度迁移学习的长短期记忆模型的跨频段单频点频谱预测方法，包括以下步骤：

步骤1，基于GSM上下行传输业务中移动台与基站状态的相似性，选择数据监测天数为2倍以上的GSM1800UL\DL频段频谱占用数据，分别作为目标任务频段GSM900UL\DL的深度迁移学习的源域频段数据；

步骤2，将当前任务频段各个频点与源域频段各频点数据进行相似性逐一对比，通过动态时间归整算法(DTW)度量各个频点之间的相似性并排序，选择当前任务频段与源域频段之间最相似的一对频点数据；

步骤3，将当前任务频段及源域频段的所有的原始频谱数据分别进行等间隔量化，量化后的频谱数据采用最大最小值归一化方法将它们的数值映射到[a,b]范围，完成数据的预处理；

步骤4，基于预处理后的源域频段单频点频谱数据，采用监督式学习方法构造样本数据集，即固定长度的窗口内的频谱数据作为样本的输入，下一时隙对应的实测值所属的量化类别作为样本的标签，窗口逐时隙地向下滑动，形成一个个样本，数据集随之构造完成，并划分成训练集和测试集；

步骤5，将源域频段数据作为单频点频谱预测模型的输入，利用数据集中的训练集训练模型，基于Adam算法调整神经网络参数，使得预测类别和实际类别的交叉熵达到最小值，神经网络训练完成后，利用数据集中的测试集进行测试，根据预测结果计算预测准确率；

步骤6，将在源域频段数据训练后的模型的参数进行迁移，作为当前任务频段的单点频谱预测模型的模型初始参数。基于源域频段相同的方式，将源域频段数据作为单频点频谱预测模型的输入，利用数据集中的训练集训练模型，基于Adam算法调整神经网络参数，但将模型学习率调整为原模型的十分之一，经过训练集训练使得预测类别和实际类别的交叉熵达到最小值；

步骤7，使用当前任务频段数据集的训练集对长短期记忆神经网络训练完成后，利用当前任务频段数据集中的测试集进行测试，根据预测结果计算预测准确率。

本发明的具体实施如下：

一、步骤1所述对各频段业务活动进行对比选择，选择与当前任务目标频段业务活动相近的频段。

二、步骤2所述对频段间各个频点通过动态时间归整(Dynamic time warping，DTW)，度量两个频段之间各频点的相似性并排序，最后选择最相似的频点作为深度迁移学习的源域数据及目标域数据。

三、步骤3所述将源域与目标域频点的单频点频谱数据分别等间隔量化后为一个列向量，将其映射到[a,b]的最大最小值归一化方法为：

X_scaler＝X_std*(b-a)+a (2)

其中X_max,X_min指的是量化后的所有频谱数据中的最大最小值，b和a分别是映射区间的上界和下界，常常取值1，-1。X_std表示映射因子，而X_scaler表示经过最大最小值归一化后得到的数值。

四、步骤4所述数据集构造，经过量化后样本标签仅仅只有有限多个。在分类中标签需要经过one-hot编码，即标签类别转化成除相应位置元素为1之外其余元素均为0的一个列向量。

五、步骤5、6所述长短期记忆预测模型训练过程，用经过步骤2选择的源域及目标域频点的训练集分别训练网络。训练过程如下：

1)初始化：用于源域频点的长短期记忆模型中每个神经元的所有参数按照设置的某种分布随机产生初始值。而用于当前任务目标域频点的长短期记忆模型中每个神经元的所有初始化参数设置为训练完毕后的用于源域频点训练的长短期记忆模型中的所有参数。

2)前向计算误差：预测模型通过多个隐藏层计算得到输出值，和标签相比存在预测误差。最小化预测误差，也即是模型的优化目标为交叉熵，在分类任务中常常被用作目标优化函数，具体如下：

其中y(t)和

分别表示真实类别和预测类别的概率分布，而n表示样本数量。

3)反向更新参数：根据链式法则误差从输出层反向传播到各隐藏层和输入层，基于Adam算法更新神经元各参数。

4)神经网络按照步骤2、3遍历所有样本，就完成一次迭代。迭代总次数完成，整个神经网络的训练过程也即完成。

实施例1

本发明的一个具体实施例如下描述，系统采用keras平台和python语言，频谱数据采用德国亚琛大学频谱测量活动中GSM1800上行频段、GSM1800下行频段、GSM900上行频段、GSM900下行频段及TV频段的频点。该实施例验证所提模型与方法的稳定性和与优越性(图3、图4和图5)。构造数据集时，窗口大小设置成120，时间跨度约为3.5s，训练集和测试集按照4：1的比例划分。训练时批处理大小为150，迭代总次数为100，能保证收敛。

本发明提出的深度迁移学习预测模型实验的具体过程如下：

步骤1：搭建源域频谱数据的单频点预测网络，并初始化网络中各神经元的参数；

步骤2：输入前向传播：固定长度的历史数据经过输入层、隐藏层以及输出层的层层计算，得到输出结果。然后计算输出结果和标签值之间的误差即交叉熵。

步骤3：误差反向传播：根据链式法则误差由输出层反向传播到各个隐藏层和输入层，按照Adam算法更新神经元的各种参数。

步骤4：按照步骤2、3遍历所有训练集样本，完成一次迭代。深度学习模型的训练过程一直到所有的迭代都完成之后才结束。

步骤5：将测试集输入到训练好的深度学习模型中进行预测，计算预测准确率。

步骤6：导出源域频谱数据的模型的所有参数到当前任务目标域频谱数据的单频点预测模型作为初始化参数。

步骤7：将当前任务目标域频谱数据的训练集作为输入，按照步骤2、3、4进行。

步骤8：将测试集输入到训练好的深度迁移学习模型中进行预测，计算预测准确率。

图3为针对目标GSM900下行频段的频谱预测任务，分别采用直接LSTM模型训练、在GSM1800下行频段预训练后迁移以及在GSM1800下行频段预训练后迁移并微调三种方法在不同数据集大小下预测的结果。可以看出，伴随着目标任务频段的数据量的减少，采用迁移学习的方法更优于在目标任务频段直接训练LSTM模型。从图4中可以看出，三个模型的预测，伴随着数据规模的减少，采用迁移学习的模型具有更加拟合的预测结果。图5展示了所提基于迁移学习的深度学习模型与朴素的深度学习模型的预测的时间性能比较。可以看出，基于迁移学习的预测模型在目标任务频段上具有更为高效的表现。

综上，本发明提出的基于深度迁移学习的长短期记忆模型的单频点频谱预测方法充分考虑频谱数据不足时的数据的补充，有效解决了频谱预测初期“冷启动”的问题；利用业务活动的相似性，找到潜在可以进行深度迁移学习的频段；同时频段间各频点使用动态时间归整计算相似性，选择对当前任务每个频点最相似的源域频段频点，避免负迁移的问题，与朴素的长短期记忆模型相比也在一定程度上减少了计算复杂度并保证了预测性能，该频谱预测模型更有优势。

Claims (3)

1.一种基于深度迁移学习的跨频段频谱预测方法，其特征在于，包括以下步骤：

步骤1，基于GSM上下行传输业务中移动台与基站状态的相似性，选择数据监测天数为2倍以上的GSM1800UL\DL频段频谱占用数据，分别作为目标任务频段GSM900UL\DL的深度迁移学习的源域频段数据；

步骤2，将当前任务频段各个频点与源域频段各频点数据进行相似性逐一对比，通过动态时间归整算法DTW度量各个频点之间的相似性并排序，选择当前任务频段与源域频段之间最相似的一对频点数据；

步骤3，将当前任务频段及源域频段的所有的原始频谱数据分别进行等间隔量化，量化后的频谱数据采用最大最小值归一化方法将它们的数值映射到[a,b]范围，完成数据的预处理；

步骤4，基于预处理后的源域频段单频点频谱数据，采用监督式学习方法构造样本数据集，即固定长度的窗口内的频谱数据作为样本的输入，下一时隙对应的实测值所属的量化类别作为样本的标签，窗口逐时隙地向下滑动，形成一个个样本，数据集随之构造完成，并划分成训练集和测试集；

步骤5，将源域频段数据作为单频点频谱预测模型的输入，基于长短期记忆模型，利用数据集中的训练集训练模型，基于Adam算法调整神经网络参数，使得预测类别和实际类别的交叉熵达到最小值，神经网络训练完成后，利用数据集中的测试集进行测试，根据预测结果计算预测准确率；

步骤6，将在源域频段数据训练后的模型的长短期记忆模型参数进行迁移，作为当前任务频段的单点频谱预测模型的长短期记忆模型初始参数；基于源域频段相同的模型架构和训练方式，将当前任务频段数据作为单频点频谱预测模型的输入，利用数据集中的训练集训练模型，基于Adam算法调整神经网络参数，将长短期记忆模型模型学习率调整为原模型的十分之一，经过训练集训练使得预测类别和实际类别的交叉熵达到最小值；

步骤7，使用当前任务频段数据集的训练集对长短期记忆神经网络训练完成后，利用当前任务频段数据集中的测试集进行测试，根据预测结果计算预测准确率；

所述步骤5中神经网络通过Adam算法使得训练集样本的预测类别和实际类别的交叉熵达到最小值，预测类别和实际类别的交叉熵计算如下：

其中，y(x)和

分别代表样本实际类别和预测类别的概率分布，n为训练样本数；Adam算法的具体流程如下：

1、对以下参数进行初始化：学习速率ε，矩估计的指数衰减速率ρ₁,ρ₂，用于数值稳定的小常数δ，神经网络参数θ，并且初始化一阶矩变量s₀＝0、二阶矩变量r₀＝0以及时间步t＝0；

2、从训练集中采集m个样本{x⁽¹⁾,...,x^(m)}的小批量，对应目标为y⁽ⁱ⁾，计算梯度：

3、t增加1，更新有偏一阶矩估计和有偏二阶矩估计:

s_t←ρ₁s_t-1+(1-ρ₁)g_t (5)

r_t←ρ₂r_t-1+(1-ρ₂)g_t⊙g_t (6)

4、修正一阶矩和二阶矩的偏差：

5、逐元素计算更新：

6、循环上述2到5步骤，直到θ_t收敛。

2.根据权利要求1所述的跨频段单频点频谱预测方法，其特征在于：步骤3所述频谱数据等间隔量化后为一个列向量，最大最小值归一化映射到[a,b]的方法为：

X_scaler＝X_std*(b-a)+a (2)

其中，X_max,X_min是量化后的所有频谱数据中的最大和最小值，b和a分别是映射区间的上界和下界，取值1，-1；X_std表示映射因子，X_scaler表示经过最大最小值归一化后得到的数值。

3.根据权利要求1所述的单频点频谱预测方法，其特征在于：所述步骤5中根据预测结果统计该频点的正确率，该频点的正确率计算如下：

其中N为测试集中样本数目，flag_k表示第k个样本的预测状态，当预测类别和标签类别相同时预测状态为1，反之则为0。

Images