CN113114400B - 基于时序注意力机制和lstm模型的信号频谱空洞感知方法 - Google Patents

Abstract

本发明提供了基于时序注意力机制和LSTM模型的信号频谱空洞感知方法，涉及无线通信技术领域。包括以下步骤：步骤一：接收频谱数据并将其二值化；步骤二：将频谱数据序列化并构建频谱数据集；步骤三：构建并训练出一个LSTM模型，将序列化的频谱数据集输入模型中；步骤四：使用模型来提取频谱数据中的时序特征，时序特征包括每组时序数的多个隐藏状态特征h _t ；步骤五：利用模型中的时序注意力机制学习时序特征，得到模型的预测向量，通过对预测向量中值的判定，从而得到用户的信号状态。本发明将注意力机制用于频谱空洞感知任务中，提高了频谱信号分布复杂时的预测性能，显著提高了频谱空洞感知的准确度。

Description

基于时序注意力机制和LSTM模型的信号频谱空洞感知方法

技术领域

本发明涉及无线通信技术领域，具体涉及基于时序注意力机制和LSTM模型的信号频谱空洞感知方法。

背景技术

频谱空洞感知方法是认知无线电的重要任务之一，影响到人们生活的方方面面，小到方便了人与人之间的通信，大到推动国家社会经济的发展。然而随着用户量的不断增加，对无线通信技术提出了新的挑战，用户需求与频谱资源不足的矛盾日益突出。据美国加州大学Berkely对30MHz到6GHZ频段测量的研究，发现当前人们对频谱在时域和频域上的利用效率不足50%。人们为了提高对空闲频谱（即频谱空闲）的利用率，研究了许多频谱空洞感知算法。

传统的频谱空洞感知方法如能量检测法，匹配滤波法和平稳特征检测法。在实际应用过程中这些方法存在许多弊端。能量检测法因为实现简单应用广泛，但是其受阈值影响较大，在低信噪比条件下该方法难以获得可靠的结果；匹配滤波法虽然增强了低信噪比下的感知效果，但是该方法必须先具有信号的先验信息，先验信息在实际频谱感知中很难获得，且该方法计算复杂度高。循环平稳检测算法也可以用于低信噪比条件下，但是其自身计算复杂度高，容易受到相邻频段的干扰。目前基于机器学习的频空洞感知方法越来越受到业界的广泛研究。基于机器学习的方法一般根据频谱的历史数据训练分类或预测模型。在得到训练好的模型后，就可以对当前的频谱状态进行实时的检测和预测。

已有的机器学习频谱空洞感方法虽然也有使用长短期记忆人工神经网络（LSTM）模型进行预测，但是在频谱信号分布不规则时的预测准确度难以提高。并且对历史频谱的特征提取不充分，模型的预测能力受到制约，对于复杂频谱条件下预测准确率不高。

发明内容

针对上述技术问题，本发明提供了基于时序注意力机制和LSTM模型的信号频谱空洞感知方法，将基于时序注意力机制的神经网络模型引入频谱空洞感知过程。在LSTM提取的时序特征的基础上，从横向和纵向两个维度提取特征构建时序注意力机制，提高了对历史频谱时序特征的抽取能力，进而可以提高模型对复杂频谱的感知效果。使用基于时序注意力机制的LSTM模型充分提取频谱数据的时序特征，无需信号的先验信息，解决传统频谱空洞感知方法在低信噪比下感知效果差，需要先验信息，受相邻频段干扰等问题。

本发明提供的基于时序注意力机制和LSTM模型的信号频谱空洞感知方法，包括以下步骤：

步骤一：接收频谱数据并将其二值化；

步骤二：将频谱数据序列化并构建频谱数据集；

步骤三：构建并训练出一个LSTM模型，将序列化的频谱数据集输入模型中；

步骤四：使用LSTM模型来提取频谱数据中的时序特征，所述时序特征包括每组时序数的多个隐藏状态特征h _t ；

步骤五：利用LSTM模型中的时序注意力机制学习时序特征，得到模型的预测向量，对预测向量进行处理，预测向量的中值是0到1之间的概率值，若大于等于0.5，则认为是占用状态1，若小于0.5，则认为是未占用状态0，从而得到用户的信号状态。

进一步地，所述步骤一中接收频谱数据并将其二值化具体为：根据设定的功率阈值K来将频谱数据二值化，当频谱功率大于K,将其替换为1，反之替换为0。

进一步地，所述步骤二中将频谱数据序列化并构建频谱数据集具体为：首先设置一个滑窗大小为X+Y；然后将滑窗前X个频谱状态数据视作历史数据记作X_train，后Y个数据作为待预测的标签Y_train；设置滑窗的步长为Step；滑窗每次移动Step步构建一组序列数据，直至遍历整个频谱；得到序列化后的频谱数据集。

进一步地，所述X_train包括t个历史频谱状态信息；所述Y_train包括频谱待预测的y个时刻的状态标签。

进一步地，所述步骤四中h _t 的具体计算公式如下：

h _t =F(h _t-1,x _t )

其中F代表LSTM模型，模型的主要计算公式如下：

其中i _t 表示LSTM模型的输入门，f _t 表示LSTM模型的遗忘门，o _t 表示LSTM模型的输出，

表示记忆单元；

，

，

和

是根据神经网络实时更新的权值参数；

，

，

，

也是神经网络学习实时更新的权值参数；⊙表示将向量按元素做乘法运算。

为进一步加强模型对时序数据的特征抽取能力。在LSTM提取的时序特征基础上使用注意力机制来进一步加强模型的预测能力，提高模型在频谱信号分布不规则时的预测能力。本发明使用的注意力机制，兼顾时序频谱的横向特征和纵向特征。横向特征是通过抽取LSTM输出的隐藏层内部的关联特征。纵向特征是抽取时序数据隐藏层之间的关联特征。通过兼顾两个维度的时序特征，进而提高了模型对频谱空洞特征的抽取能力提高了模型的性能。

进一步地，所述时序注意力机制的构建步骤如下：

S1、提取LSTM输出的隐藏状态的横向特征，对输入的隐藏状态

做一维横向卷积且设卷积核的个数为k，宽度为T=w，得到的横向特征为

；其具体计算公式如下：

其中，C表示使用卷积神经网络CNN进行的处理；i表示隐藏层的第i行，j表示第j个卷积；

S2、在得到横向特征H ^C 后，在纵向上计算特征的加权累计向量；以此来给予每一行H ^C 以不同的注意力，提取数据的纵向时序特征；其具体计算方法如下：

a _i =sigmoid(f(

,h _t ))

其中

表示H ^C 中的第i个向量，W _a ∈R ^k×m 是由神经网络学习得到的权值参数，

a _i 表示不同的注意力权重即每一行的不同注意力；

S3、将得到的注意力权重a _i 与横向特征H ^C 进行加权计算得到频谱时序注意力向量v _t ；最后与h _t 一起拼接得到预测向量：

y _t-1+Δ=W _h, h _t ′

其中h _t ,h _t ′∈R ^m ，W _h ∈R ^m×m ，W _v ∈R ^m×k ，W _h ′∈R ^n×m 神经网络学习的参数矩阵；y _t-1+Δ∈R ⁿ 是预测的Δ时间段的频谱状态。

本发明技术方案，具有如下优点：

本发明提出了一个基于时间注意力机制的LSTM频谱空洞感知模型，并首次用于频谱感知任务中。

本发明提供的方法将注意力机制用于频谱空洞感知任务中，提高频谱信号分布复杂时频谱空洞的预测性能。构建的时序注意力模型中使用CNN提取频谱中时序内部的横向特征，使用加权注意力模型提取时序之间的纵向特征，提高模型对频谱时序特征的抽取能力。经实验表明，基于时序注意力的LSTM频谱空洞感知方法能显著提高频谱空洞感知的准确度，且具有较低的虚警概率。且在频谱数据分布不规则时，仍然可以对频谱空洞进行很好的预测。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明基于时间注意力机制的LSTM频谱空洞感知方法的主要步骤流程图；

图2是本发明二值化频谱数据示意图；

图3是本发明序列化频谱数据集示意图；

图4是本发明基于时序注意力的LSTM频谱空洞感知方法示意图；

图5是本发明LSTM网络结构的循环单元结构示意图。

具体实施方式

实施例1

基于时序注意力机制和LSTM模型的信号频谱空洞感知方法，其步骤如图1所示。

1.1构建频谱时序数据集

本发明针对无线电接收端（用户）的频谱数据进行预测。如图2所示接受频谱数据有两个维度，一个维度是时间维度，另一个是频域维度。频谱上的值是信号的功率，频域划分为多个信道。构建信号时序数据集的具体步骤如下：

步骤一：二值化接收的频谱数据。由于频谱上信号的占用状态实际上只有两种，被用户占用为1，没有被占用为0。因此需要根据设定的功率阈值K来将频谱数据二值化，当频谱功率大于K，将其替换为1，反之替换为0。

步骤二：序列化频谱数据。为了将历史频谱状态数据的特征充分用于频谱状态预测。需要序列化频谱数据来构建数据集。首先设置一个滑窗大小为X+Y；然后将滑窗前X个频谱状态数据视作历史数据记作X_train，后Y个数据作为待预测的标签Y_train；设置滑窗的步长为Step；滑窗每次移动Step步构建一组序列数据，直至遍历整个频谱；得到序列化后的频谱数据集。

1.2基于时序注意力和LSTM模型的信号频谱感知模型

1.2.1模型输入

模型接收的输入数据是序列化的频谱数据集。X_train包括t个历史频谱状态信息；所述Y_train包括频谱待预测的y个时刻的状态标签。

1.2.2学习时序特征

为了充分学习历史频谱的状态信息，使用具有长时记忆能力的LSTM模型来提取频谱数据中的时序特征，LTSM模型的原理如图5所示，主要是在循环神经网络的基础上增加了门限机制，增加了对历史数据的记忆能力。因此可以得到每组时序数的多个隐藏状态特征h _t 。具体计算公式如下：

h _t =F(h _t-1,x _t )

其中F代表LSTM模型，模型的主要计算公式如下：

其中i _t 表示LSTM模型的输入门，f _t 表示LSTM模型的遗忘门，o _t 表示LSTM模型的输出，

表示记忆单元；

，

，

和

是根据神经网络实时更新的权值参数；

，

，

，

也是神经网络学习实时更新的权值参数；⊙表示将向量按元素做乘法运算。

1.2.3 时序注意力机制

在传统的注意力模型中会将学习到的时序特征通过一个权重参数进行加权进而得到一个权重向量v _t ，其具体计算如下所示；接着在使用这个权重向量和隐藏状态一起拼接得到模型的预测结果。

传统的注意力方法只是简单的对学习到的时序特征进行加权，依赖的是LSTM学习的各个时序数据之间的特征，忽视了时序数据内部的特征。因此在频谱的一个时序内信号有状态变化时模型的预测效果会下降。

为此，本发明提出了时序注意力机制。时序注意力机制的输入是LSTM学习的时序特征（即隐藏状态）

。

时序注意力机制的构建步骤如下：

S1、提取LSTM输出的隐藏状态的横向特征，对输入的隐藏状态

做一维横向卷积且设卷积核的个数为k，宽度为T=w，得到的横向特征为

；其具体计算公式如下：

其中，C表示使用卷积神经网络CNN进行的处理；i表示隐藏层的第i行，j表示第j个卷积；

S2、在得到横向特征H ^C 后，在纵向上计算特征的加权累计向量；以此来给予每一行H ^C 以不同的注意力，提取数据的纵向时序特征；其具体计算方法如下：

a _i =sigmoid(f(

,h _t ))

其中

表示H ^C 中的第i个向量，W _a ∈R ^k×m 是由神经网络学习得到的权值参数，

a _i 表示不同的注意力权重即每一行的不同注意力；

注意力机制兼顾时序频谱的横向特征和纵向特征。横向特征是通过抽取LSTM输出的隐藏层内部的关联特征。纵向特征是抽取时序数据隐藏层之间的关联特征。通过兼顾两个维度的时序特征，进而提高了模型对频谱空洞特征的抽取能力提高了模型的性能。

S3、将得到的注意力权重a _i 与横向特征H ^C 进行加权计算得到频谱时序注意力向量v _t ；最后与h _t 一起拼接得到预测向量：

y _t-1+Δ=W _h, h _t ′

其中h _t ,h _t ′∈R ^m ，W _h ∈R ^m×m ，W _v ∈R ^m×k ，W _h ′∈R ^n×m 神经网络学习的参数矩阵；y _t-1+Δ∈R ⁿ 是预测的Δ时间段的频谱状态

得到模型的预测向量后，对预测向量进行处理得到预测向量的中值，预测向量中值是0到1之间的概率值，若大于等于0.5，则认为是占用状态1，若小于0.5，则认为是未占用状态0，从而得到用户的信号状态。

本发明提供的基于时序注意力机制和LSTM模型的信号频谱空洞感知方法，在LSTM提取的时序特征基础上使用注意力机制来进一步加强模型的预测能力，提高模型在频谱信号分布不规则时的预测能力。为进一步加强模型对时序数据的特征抽取能力。本发明引入了兼顾时序频谱的横向特征和纵向特征的时序注意力机制。横向特征是通过抽取LSTM输出的隐藏层内部的关联特征。纵向特征是抽取时序数据隐藏层之间的关联特征。通过兼顾两个维度的时序特征，进而提高了模型对频谱空洞特征的抽取能力提高了模型的性能。通过实验证明，基于时序注意力和LSTM模型的信号频谱空洞感知方法能给频谱空洞预测精度带来显著的提高。而且在频谱数据分布不规则时，仍然可以对频谱空洞进行很好的预测。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (5)

1.基于时序注意力机制和LSTM模型的信号频谱空洞感知方法，其特征在于，包括以下步骤：

步骤一：接收频谱数据并将其二值化；

步骤二：将频谱数据序列化并构建频谱数据集；

步骤三：构建并训练出一个LSTM模型，将序列化的频谱数据集输入模型中；

步骤四：使用LSTM模型来提取频谱数据中的时序特征，所述时序特征包括每组时序数的多个隐藏状态特征h_t；

步骤五：利用LSTM模型中的时序注意力机制学习时序特征，得到模型的预测向量，预测向量的中值是0到1之间的概率值，若大于等于0.5，则认为是占用状态1，若小于0.5，则认为是未占用状态0，从而得到用户的信号状态；

所述时序注意力机制的构建步骤如下：

S1、提取LSTM输出的隐藏状态的横向特征，对输入的隐藏状态H＝{h₁，h₂，...，h_t-1}做一维横向卷积且设卷积核的个数为k，宽度为T＝w，得到的横向特征为

其具体计算公式如下：

其中，C表示使用卷积神经网络CNN进行的处理；i表示隐藏层的第i行，j表示第j个卷积；

S2、在得到横向特征H^C后，在纵向上计算特征的加权累计向量；以此来给予每一行H^C以不同的注意力，提取数据的纵向时序特征；其具体计算方法如下：

其中

表示H^C中的第i个向量，W_a∈R^k×m是由神经网络学习得到的权值参数，

a_i表示不同的注意力权重即每一行的不同注意力；

S3、将得到的注意力权重a_i与横向特征H^C进行加权计算得到频谱时序注意力向量v_t；最后与h_t一起拼接得到预测向量：

y_t-1+Δ＝W_h,h_t′

其中h_t,h_t′∈R^m，W_h∈R^m×m，W_v∈R^m×k，W_h′∈R^n×m是神经网络学习的参数矩阵；y_t-1+Δ∈Rⁿ是预测的Δ时间段的频谱状态。

2.根据权利要求1所述的基于时序注意力机制和LSTM模型的信号频谱空洞感知方法，其特征在于，所述步骤一中接收频谱数据并将其二值化具体为：根据设定的频谱功率阈值K来将频谱数据二值化，当频谱功率大于K,将其替换为1，反之替换为0。

3.根据权利要求1所述的基于时序注意力机制和LSTM模型的信号频谱空洞感知方法，其特征在于，所述步骤二中将频谱数据序列化并构建频谱数据集具体为：首先设置一个滑窗大小为X+Y；然后将滑窗前X个频谱状态数据视作历史数据记作X_train，后Y个数据作为待预测的标签Y_train；设置滑窗的步长为Step；滑窗每次移动Step步构建一组序列数据，直至遍历整个频谱；得到序列化后的频谱数据集。

4.根据权利要求3所述的基于时序注意力机制和LSTM模型的信号频谱空洞感知方法，其特征在于，所述X_train包括t个历史频谱状态信息；所述Y_train包括频谱待预测的y个时刻的状态标签。

5.根据权利要求4所述的基于时序注意力机制和LSTM模型的信号频谱空洞感知方法，其特征在于，所述步骤四中h_t的具体计算公式如下：

h_t＝F(h_t-1,x_t)

其中F代表LSTM模型，模型的主要计算公式如下：

h_t＝o_t⊙tanh(c_t)

其中i_t表示LSTM模型的输入门，f_t表示LSTM模型的遗忘门，o_t表示LSTM模型的输出，

表示记忆单元；

和

是根据神经网络实时更新的权值参数；

也是神经网络学习实时更新的权值参数；⊙表示将向量按元素做乘法运算。

Images