CN116405139A - 一种基于Informer的频谱预测模型和方法 - Google Patents
一种基于Informer的频谱预测模型和方法 Download PDFInfo
- Publication number
- CN116405139A CN116405139A CN202310226715.8A CN202310226715A CN116405139A CN 116405139 A CN116405139 A CN 116405139A CN 202310226715 A CN202310226715 A CN 202310226715A CN 116405139 A CN116405139 A CN 116405139A
- Authority
- CN
- China
- Prior art keywords
- calculating
- sequence
- attention
- model
- spectrum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001228 spectrum Methods 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000010606 normalization Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 21
- 230000009466 transformation Effects 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims description 37
- 230000007246 mechanism Effects 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 8
- 238000004821 distillation Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 241000282326 Felis catus Species 0.000 claims description 3
- 230000009021 linear effect Effects 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B17/00—Monitoring; Testing
- H04B17/30—Monitoring; Testing of propagation channels
- H04B17/373—Predicting channel quality or other radio frequency [RF] parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B17/00—Monitoring; Testing
- H04B17/30—Monitoring; Testing of propagation channels
- H04B17/309—Measuring or estimating channel quality parameters
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Complex Calculations (AREA)
Abstract
本发明涉及一种基于Informer的频谱预测模型和方法,该模型包括相互连接的高动态系统频谱时间序列处理模块、Informer模型和频域注意力计算模块;该方法包括步骤:进入高动态系统频谱时间序列处理模块,将原始序列归一化得到相应的均值、标准差和变换之后的序列,将归一化后的序列经过嵌入得到将送入编码器,经过计算得到原始特征图P,用DCT进行频域注意力的计算,得到增强向量r,并将其与原始特征图P在频率维度上进行拼接,得到经频域注意力加强的特征图P',再传入解码器进行计算得到输出的初始预测结果y',对y'进行去归一化操作得到最终的预测输出y。本发明降低了内存需求,为输入更长序列提供了条件,对频谱数据有更全面的学习,具有准确性高、适用性强的特点。
Description
技术领域
本发明属于频谱管理领域,具体涉及一种基于Informer的频谱预测模型和方法。
背景技术
在智能通信系统中,对频谱的使用管理是十分重要的一环,频谱的调度过程遵循这样的步骤:频谱感知、频谱分析、频谱决策、频谱调整。在当今复杂的通信环境中,对频谱进行全面的、实时的监测是一件相对耗费资源和时间的事情,尤其在高动态的无线电环境中,频谱感知的复杂度进一步增强。同时,在对频谱进行实时地全面监测,然后再经过计算分析得到可利用的频谱空洞,这会耗费一定的时间,很可能会因为监测和计算的时延导致频谱接入时发生冲突,反而降低了通信质量。因此,提出了频谱预测来降低计算时延,降低监测成本,为后续的频谱管理提供更多的数据支持。
频谱预测是通过分析历史频谱的使用情况,对之后的频谱状态占用进行预测,从而达到灵活使用频谱资源,提高系统通信质量的目的。尤其在物联网等高动态的电磁环境下,对频谱切换的时延要求更高,对信息传输的质量要求也更高,频谱预测更是能在其中发挥重要的作用,在提高通信系统整体通信质量上的潜力更大,因此,频谱预测在智能通信,尤其高动态电磁环境下是一个十分有价值的策略。
随着车联网等新型应用场景的兴起,智能通信应运而生,频谱资源的不可再生性要求系统必须更高效地将其利用,频谱预测在降低频谱切换时延、减少资源耗费方面有非常大的潜力,因此,在现代通信环境、尤其是高动态电磁环境中,频谱预测方向是一个十分有价值的研究课题。
目前,针对于序列预测,最接近的是Transformer模型,由谷歌公司提出,该模型基于完全注意力机制,它在序列建模中显示出了强大的能力。但是,仍然有一些局限性。(1)高计算复杂度:模型使用的是完全注意力机制,即需要计算输入序列中所有位置时间的注意力得分,假设输入序列长度是L,那么总共需要计算L2次,即完全注意力的计算复杂度是O(L2);在一些数据量比较大的实验中,对设备的要求可能会较高,甚至可能会有实验失败的风险,限制了该模型在实际场景中的应用;(2)在频谱时间序列中,Transformer更注重序列在时间维度上的关系,但是干扰等信息在时间维度上很难进行辨别,在频域上更好辨别,模型缺少对数据频域方面的学习;(3)在高动态电磁环境中,频谱数据的平稳性可能也较差,Transformer缺少对这种数据的处理考虑,可能会影响预测结果。
发明内容
为了解决现有技术在频谱预测问题中长序列预测计算复杂度高、缺少对数据频域方面的学习的问题,本发明提出了一种基于Informer的频谱预测模型和算法,降低了内存需求,为输入更长序列提供了好的条件,对频谱数据有更全面的学习,具有准确性高、适用性强的特点。
一种基于Informer的频谱预测模型,包括高动态系统频谱时间序列处理模块、Informer模型和频域注意力计算模块,所述Informer模型分别与高动态系统频谱时间序列处理模块和频域注意力计算模块连接。
进一步地,上述高动态系统频谱时间序列处理模块的归一化单元与Informer模型的编码器连接,所述Informer模型的编码器与频域注意力计算模块连接,所述频域注意力计算模块与Informer模型的解码器连接,所述Informer模型的解码器与高动态系统频谱时间序列处理模块的去归一化单元连接。
一种基于Informer的频谱预测方法,包括如下步骤:
步骤1:进入高动态系统频谱时间序列处理模块,首先将原始序列进行归一化,得到相应的均值、标准差和变换之后的序列,并且通过一层多层感知器计算得到非平稳因子;
步骤3:对原始特征图P用DCT进行频域注意力的计算,得到增强向量r,并将其与原始特征图P在频率维度上进行拼接,得到经频域注意力加强的特征图P';
步骤4:将经频域注意力加强的特征图P'传入Informer模型的解码器进行计算,得到输出的初始预测结果y';
步骤5:对初始预测结果y'进行去归一化操作,得到最终的预测输出y。
进一步地,上述步骤1具体为:
2)将得到的均值μX和标准差σX同原始序列X一起送入多层感知器单元,得到高动态系统频谱时间序列处理模块中的非平稳因子τ和Δ,以供后续序列恢复使用,logτ=MLP(σX,X),Δ=MLP(μX,X)。
进一步地,上述步骤2具体为:
2)将嵌入之后的数据送入Informer模型的编码器,在编码器中的每一层堆栈中,都先对注意力计算所需的矩阵Q',K',V'进行计算,然后根据这三个矩阵和非平稳因子计算稀疏注意力,选取重要注意力,并将剩下的查询值用均值替代,并且进行一次注意力蒸馏,经过N次计算之后,得到原始特征图P。
进一步地,上述的基于Informer的频谱预测方法,若编码器的层数是N,那么将下列步骤执行N次,具体的:
2.1)基于线性性质计算Q',K',V';
2.2.2)计算样本分数:
2.2.4)其余query值用均值代替;
其中,d表示序列的维度;
2.4)计算残差连接、进行层归一化;
2.5)进入前馈网络进行训练;
2.6)再次计算残差连接、进行层归一化;
2.7)进行注意力蒸馏
进一步地,上述步骤3具体为:
1)对原始特征图P计算一维卷积,得到V;
2)对V进行DCT变换,
Freq=DCT(V)=stack([Freq0,Freq1,...,Freqn-1]);
3)计算频域注意力加强向量:
Fc-att=σ(W2δ(W1Freq))
其中,W1,W2都是训练得到的可学习参数,δ表示RELU激活函数,σ表示Sigmoid激活函数;
4)通过一维卷积计算增强向量r:
r=P*(Fc-att);
5)将P和r在频率维度上进行拼接,计算得到增强的解码器的输入特征图P',P'=torch.cat(P,r)。
进一步地,上述步骤4具体为,将经频域注意力加强的特征图P'传入Informer模型的解码器进行计算,同时向解码器输入序列Xde={Xtoken,X0},Xtoken部分是开始令牌,X0部分标志预测结果的长度,经解码器和全连接层输出,原来置0的位置即为输出的初始预测结果y',其中,解码器的结构为遮盖的多头稀疏注意力机制和多头注意力机制。
进一步地,上述的基于Informer的频谱预测方法,在解码器的每层堆栈中进行计算:
1)计算遮盖的多头稀疏注意力机制;
2)计算残差连接,进行层归一化;
3)进入前馈网络进行训练;
4)再次计算残差连接、进行层归一化。
进一步地,上述步骤5中,预测输出y的计算方法为:
本发明的有益效果:
1.本发明的基础模型是Informer模型,是基于注意力机制的一个计算量更小的模型,通过稀疏注意力机制和注意力蒸馏机制将模型的计算复杂度从O(L2)降到了O(LlogL),降低了内存需求,为输入更长的序列提供了好的条件;
2.本发明的加入了针对于频域信息的注意力机制,并且基于GAP是DCT的最低频率分量的发现,在计算频域注意力时采用了DCT的计算方法,使得模型对频谱数据有更全面的学习,减少误差;
3.本发明在高动态电磁环境下,对收集到的频谱数据进行预处理,增强序列的平稳性,以给模型提供更好的注意力学习条件,并且,对解码器输出的结果进行非平稳性还原,降低预测误差,提高了模型的适用性。
附图说明
图1为本实施例基于Informer的频谱预测模型流程示意图。
图2为本实施例Informer模型和频域注意力计算模块的连接示意图。
图3为本实施例频域注意力计算模块流程示意图。
图4为本实施例数据嵌入方法示意图。
具体实施方式
为进一步阐述本发明达成预定目的所采取的技术手段及功效,以下结合附图及实施例对本发明的具体实施方式、结构特征及其功效,详细说明如下。
本实施例提供了一种基于Informer的频谱预测模型,参照附图1-3,该频谱预测模型包括高动态系统频谱时间序列处理模块、Informer模型和频域注意力计算模块,Informer模型分别与高动态系统频谱时间序列处理模块和频域注意力计算模块连接。高动态系统频谱时间序列处理模块的归一化单元与Informer模型的编码器连接,Informer模型的编码器与频域注意力计算模块连接,频域注意力计算模块与Informer模型的解码器连接,Informer模型的解码器与高动态系统频谱时间序列处理模块的去归一化单元连接。
本实施例还提供了一种基于Informer的频谱预测方法,该频谱预测方法包括如下步骤:
步骤1:进入高动态系统频谱时间序列处理模块,首先将原始序列进行归一化,得到相应的均值、标准差和变换之后的序列,并且通过一层多层感知器计算得到非平稳因子。
2)将得到的均值μX和标准差σX同原始序列X一起送入多层感知器单元,得到高动态系统频谱时间序列处理模块中的非平稳因子τ和Δ,以供后续序列恢复使用,logτ=MLP(σX,X),Δ=MLP(μX,X)。
本实施例编码器的结构由两层堆栈组合而成,在每一层堆栈中,首先通过多头稀疏注意力机制得到一定数目的重要注意力,然后通过一层蒸馏层对注意力进行筛选,得到有效注意力,这也是本算法中降低计算复杂度和内存要求的关键。
数据嵌入方法参照附图4。
2)将嵌入之后的数据送入Informer模型的编码器,在编码器中的每一层堆栈中,都先对注意力计算所需的矩阵Q',K',V'进行计算,然后根据这三个矩阵和非平稳因子计算稀疏注意力,选取重要注意力,并将剩下的查询值用均值替代,并且进行一次注意力蒸馏,经过N次计算之后,得到原始特征图P。
若编码器的层数是N,那么将下列步骤执行N次,具体的:
2.1)基于线性性质计算Q',K',V';
2.2.2)计算样本分数:
2.2.4)其余query值用均值代替;
其中,d表示序列的维度;
2.4)计算残差连接、进行层归一化;
2.5)进入前馈网络进行训练;
2.6)再次计算残差连接、进行层归一化;
2.7)进行注意力蒸馏
步骤3:对原始特征图P用DCT进行频域注意力的计算,计算频域注意力模块,因为传统的通道注意力智能学习最低频率的注意力,所以要用DCT计算,以此得到增强向量r,并将其与原始特征图P在频率维度上进行拼接,得到经频域注意力加强的特征图P'。
1)对原始特征图P计算一维卷积,得到V;
2)对V进行DCT变换,
Freq=DCT(V)=stack([Freq0,Freq1,...,Freqn-1]);
3)计算频域注意力加强向量:
Fc-att=σ(W2δ(W1Freq))
其中,W1,W2都是训练得到的可学习参数,δ表示RELU激活函数,σ表示Sigmoid激活函数;
4)通过一维卷积计算增强向量r:
r=P*(Fc-att);
5)将P和r在频率维度上进行拼接,计算得到增强的解码器的输入特征图P',P'=torch.cat(P,r)。
步骤4:将经频域注意力加强的特征图P'传入Informer模型的解码器进行计算,同时向解码器输入序列Xde={Xtoken,X0},Xtoken部分是开始令牌,X0部分标志预测结果的长度,经解码器和全连接层输出,原来置0的位置即为输出的初始预测结果y',其中,解码器的结构为遮盖的多头稀疏注意力机制和多头注意力机制,遮盖的目的是为了防止预测位置受到之后的序列影响,造成自回归。
在解码器的每层堆栈中进行计算:
1)计算遮盖的多头稀疏注意力机制;
2)计算残差连接,进行层归一化;
3)进入前馈网络进行训练;
4)再次计算残差连接,进行层归一化。
步骤5:对初始预测结果y'进行去归一化操作,得到最终的预测输出y。
预测输出y的计算方法为:
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在未脱离本发明技术方案的内容,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于Informer的频谱预测模型,其特征在于,包括高动态系统频谱时间序列处理模块、Informer模型和频域注意力计算模块,所述Informer模型分别与高动态系统频谱时间序列处理模块和频域注意力计算模块连接。
2.根据权利要求1所述的基于Informer的频谱预测模型,其特征在于,所述高动态系统频谱时间序列处理模块的归一化单元与Informer模型的编码器连接,所述Informer模型的编码器与频域注意力计算模块连接,所述频域注意力计算模块与Informer模型的解码器连接,所述Informer模型的解码器与高动态系统频谱时间序列处理模块的去归一化单元连接。
3.一种基于Informer的频谱预测方法,其特征在于,包括如下步骤:
步骤1:进入高动态系统频谱时间序列处理模块,首先将原始序列进行归一化,得到相应的均值、标准差和变换之后的序列,并且通过一层多层感知器计算得到非平稳因子;
步骤3:对原始特征图P用DCT进行频域注意力的计算,得到增强向量r,并将其与原始特征图P在频率维度上进行拼接,得到经频域注意力加强的特征图P';
步骤4:将经频域注意力加强的特征图P'传入Informer模型的解码器进行计算,得到输出的初始预测结果y';
步骤5:对初始预测结果y'进行去归一化操作,得到最终的预测输出y。
7.根据权利要求3所述的基于Informer的频谱预测方法,其特征在于,所述步骤3具体为:
1)对原始特征图P计算一维卷积,得到V;
2)对V进行DCT变换,
Freq=DCT(V)=stack([Freq0,Freq1,...,Freqn-1]);
3)计算频域注意力加强向量:
Fc-att=σ(W2δ(W1Freq))
其中,W1,W2都是训练得到的可学习参数,δ表示RELU激活函数,σ表示Sigmoid激活函数;
4)通过一维卷积计算增强向量r:
r=P*(Fc-att);
5)将P和r在频率维度上进行拼接,计算得到增强的解码器的输入特征图P',P'=torch.cat(P,r)。
8.根据权利要求3所述的基于Informer的频谱预测方法,其特征在于,所述步骤4具体为,将经频域注意力加强的特征图P'传入Informer模型的解码器进行计算,同时向解码器输入序列Xde={Xtoken,X0},Xtoken部分是开始令牌,X0部分标志预测结果的长度,经解码器和全连接层输出,原来置0的位置即为输出的初始预测结果y',其中,解码器的结构为遮盖的多头稀疏注意力机制和多头注意力机制。
9.根据权利要求8所述的基于Informer的频谱预测方法,其特征在于,在解码器的每层堆栈中进行计算:
1)计算遮盖的多头稀疏注意力机制;
2)计算残差连接,进行层归一化;
3)进入前馈网络进行训练;
4)再次计算残差连接,进行层归一化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310226715.8A CN116405139A (zh) | 2023-03-09 | 2023-03-09 | 一种基于Informer的频谱预测模型和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310226715.8A CN116405139A (zh) | 2023-03-09 | 2023-03-09 | 一种基于Informer的频谱预测模型和方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116405139A true CN116405139A (zh) | 2023-07-07 |
Family
ID=87018792
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310226715.8A Pending CN116405139A (zh) | 2023-03-09 | 2023-03-09 | 一种基于Informer的频谱预测模型和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116405139A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116996111A (zh) * | 2023-08-23 | 2023-11-03 | 中国科学院微小卫星创新研究院 | 卫星频谱预测方法、装置和电子设备 |
-
2023
- 2023-03-09 CN CN202310226715.8A patent/CN116405139A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116996111A (zh) * | 2023-08-23 | 2023-11-03 | 中国科学院微小卫星创新研究院 | 卫星频谱预测方法、装置和电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112785016B (zh) | 基于机器学习的新能源汽车保养维护与故障监测诊断方法 | |
CN111627458B (zh) | 一种声源分离方法及设备 | |
CN110728360A (zh) | 一种基于bp神经网络的微能源器件能量识别方法 | |
CN111245950A (zh) | 基于深度学习的工业物联网边缘资源智能调度系统及方法 | |
CN116405139A (zh) | 一种基于Informer的频谱预测模型和方法 | |
CN112418175A (zh) | 基于域迁移的滚动轴承故障诊断方法、系统及存储介质 | |
CN115695025B (zh) | 网络安全态势预测模型的训练方法及装置 | |
CN115225516B (zh) | 基于改进abc-vmd的lssvm网络流量预测方法 | |
CN114398992A (zh) | 一种基于无监督域适应的智能故障诊断方法 | |
CN114861740A (zh) | 基于多头注意力机制的自适应机械故障诊断方法及系统 | |
CN113051130A (zh) | 结合注意力机制的lstm网络的移动云负载预测方法及系统 | |
CN114500335A (zh) | 基于模糊c均值和混合核最小二乘支持向量机的sdn网络流程控制方法 | |
Lu et al. | Bearing performance degradation assessment and prediction based on EMD and PCA-SOM | |
CN112949097B (zh) | 一种基于深度迁移学习的轴承剩余寿命预测模型和方法 | |
CN108984851B (zh) | 一种带时延估计的加权高斯模型软测量建模方法 | |
Zhang et al. | Machine learning based protocol classification in unlicensed 5 GHz bands | |
CN116865884A (zh) | 基于在线学习的宽带频谱感知方法 | |
CN116863920A (zh) | 基于双流自监督网络的语音识别方法、装置、设备及介质 | |
Xiao et al. | Health assessment for piston pump using LSTM neural network | |
CN116630728A (zh) | 基于注意力残差孪生网络的加工精度预测方法 | |
CN116166997A (zh) | 一种智能主轴服役状态诊断方法、系统、设备及介质 | |
CN111064617A (zh) | 基于经验模态分解聚类的网络流量预测方法及装置 | |
Li et al. | A robust fault diagnosis method for rolling bearings based on deep convolutional neural network | |
CN115563485A (zh) | 一种基于深度学习的低复杂度干扰识别方法 | |
CN115687989A (zh) | Laplace噪声下基于Transformer-DNN混合网络的多用户频谱感知方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |