CN117975163A - 一种基于改进Transformer的无线频谱状态图像分类方法 - Google Patents

一种基于改进Transformer的无线频谱状态图像分类方法 Download PDF

Info

Publication number
CN117975163A
CN117975163A CN202410241012.7A CN202410241012A CN117975163A CN 117975163 A CN117975163 A CN 117975163A CN 202410241012 A CN202410241012 A CN 202410241012A CN 117975163 A CN117975163 A CN 117975163A
Authority
CN
China
Prior art keywords
spectrum
image
improved
state
resnet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410241012.7A
Other languages
English (en)
Inventor
申滨
王紫昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202410241012.7A priority Critical patent/CN117975163A/zh
Publication of CN117975163A publication Critical patent/CN117975163A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Mobile Radio Communication Systems (AREA)

Abstract

本发明涉及一种基于改进Transformer的无线频谱状态图像分类方法,属于认知无线电领域。该方法为:将无线频谱状态地图作为输入数据传递到所述改进Transformer的神经网络架构中,以此判别不同类别的无线频谱场景,从而实现精准的无线频谱状态感知。具体方法包括:改进SE‑ResNet50的Subsequent Processing部分,将所述频谱图像输入到所述SE‑ResNet50得到具有通道权重的特征图;将所述特征图再输入到使用分层池化机制的所述改进Transformer架构中,得到图像的分类器模型;图像分类器输出频谱状态类别。本发明在频谱感知背景下使用到的图像分类方法同时关注通道和空间两个维度上的特性,该架构设置可实现全局和局部信息的有效融合,提高模型对不同数据分布的泛化性和在快速感知中的准确性。

Description

一种基于改进Transformer的无线频谱状态图像分类方法
技术领域
本发明属于无线通信领域,特别是认知无线电中的频谱感知技术领域,具体涉及一种基于改进Transformer的无线频谱状态图像分类方法。
背景技术
随着移动通信、卫星通信、互联网等无线通信技术的迅猛发展,对频谱资源的需求日益增加。然而,目前可用的频谱资源有限,尤其在特定频段内,频谱资源短缺已经成为制约通信系统性能和服务质量的主要因素之一。传统的频谱管理方法往往面临频谱资源分配不均、频谱利用率低等问题,导致频谱浪费和无线通信系统容量有限的困境。为了克服这些问题,现有技术在频谱资源管理领域进行了多方面的研究,包括动态频谱分配、频谱共享、认知无线电(Cognitive Radio,CR)等技术。然而,尽管这些技术在一定程度上缓解了频谱资源短缺的问题,但仍然存在需要更加高效和创新的方法来有效管理和利用频谱资源的需求。因此,有关频谱资源短缺问题的创新性解决方案成为当前无线通信领域的研究热点之一。
基于深度学习的频谱感知方案利用深度学习模型来提取和分析无线通信系统中的频谱信息,以实现对频谱环境的智能感知和自适应性调整。这种方法利用深度学习算法的强大特征学习和模式识别能力,可以更准确地识别不同信号、干扰和频谱利用情况,为认知无线电系统提供更为精确的频谱状态信息。并且,这种频谱感知方案具有较强的自适应性和泛化能力,能够适应复杂的无线通信环境,为CR系统提供更灵活、智能的频谱管理策略,对于提高频谱利用效率、减小干扰、支持动态频谱分配等方面具有重要的应用前景。
传统的基于深度学习的图像分类方案在识别频谱状态图像时可能会面临一些问题:频谱感知任务需要对整个频谱图像进行理解,涉及不同的通信场景和信号特征。传统模型在捕获长距离依赖关系和全局信息方面可能存在局限性;并且在数据有限或存在未见过的频谱图像的的情况下,模型对图像的泛化能力相对较弱。考虑到在不同条件下提供可靠频谱状态信息的需求,为设备提供更准确的频谱资源用频决策,需要一种更有效的频谱感知方法来解决上述问题。
发明内容
针对传统的基于深度学习的频谱状态感知方案在特征提取和泛化能力方面的局限性,本发明提供了一种基于改进Transformer的无线频谱状态图像分类方法,提升特征的表示能力,改善感知模型对于不同数据分布的泛化性,进一步提高分类准确性。
第一方面,提供一种基于改进Transformer的无线频谱状态图像分类方法,所述方法包括:改进SE-ResNet50的SubsequentProcessing部分,将所述频谱图像R输入到所述SE-ResNet50得到具有通道权重的特征图将所述特征图/>再输入到使用分层池化机制的所述改进Transformer架构中,得到图像的分类器模型;图像分类器输出频谱状态类别;
进一步地,所述改进SE-ResNet50的Subsequent Processing部分,包括:所述SE-ResNet50不经过Subsequent Processing环节,即不进行自适应全平均池化和全连接层的处理,选择所有通道来可视化通过模型输出的B×C×H×W四维张量;根据所述处理之后,用于特征提取的模型输出是经过卷积和池化后的特征图。
进一步地,所述将所述频谱图像R输入到所述SE-ResNet50得到具有通道权重的特征图之前,还包括:将目标地理区域内感知设备收集到的频谱观测数据图像化。
进一步地,所述将所述特征图再输入到使用分层池化机制的所述改进Transformer架构中,包括:将Transformer块划分为M个阶段,并对每个阶段应用下采样操作以缩小序列长度;设{b1,b2,...,bM}是每个阶段第二个block的索引,在第m个阶段,对Transformer索引的block使用输出核大小为d、步长为s进行一维最大池化操作来逐渐降低采样序列长度,从而实现分层池化。
进一步地,所述图像分类器输出频谱状态类别,包括:使用训练集中的图像和对应的标签来训练模型,将测试集输入到训练好的模型执行分类任务,并输出无线频谱状态标签。
第二方面,提供一种基于改进Transformer的无线频谱状态图像分类装置,包括:
处理单元,用于改进SE-ResNet50的Subsequent Processing部分,将所述频
谱图像R输入到所述SE-ResNet50得到具有通道权重的特征图
处理单元,还用于将所述特征图再输入到使用分层池化机制的所述改进Transformer架构中,得到图像的分类器模型;
处理单元,还用于图像分类器输出频谱状态类别。
第三方面,本申请提供一种电子设备,该电子设备包括:处理器和存储器,所述存储器与所述处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述处理器从所述存储器中读取所述计算机指令,以使得所述电子设备执行如第一方面所述的基于改进Transformer的无线频谱状态图像分类方法。
第四方面,本申请提供一种计算机存储介质,包括计算机指令,当所述计算机指令在终端上运行时,使得所述终端执行如第一方面所述的基于改进Transformer的无线频谱状态图像分类方法。
第五方面,本申请提供一种计算机程序产品,当所述计算机程序产品在计算上运行时,使得所述计算机执行如第一方面所述的基于改进Transformer的无线频谱状态图像分类方法。
本发明在频谱感知背景下使用到的图像分类方法同时关注通道和空间两个维度上的特性。相较于传统用于图像分类的单个架构,所述方法一方面基于ResNet结构通过引入SE块对通道进行注意力机制来提取图像特征,增强了特征的表达能力;另一方面,分层的Transformer更好捕捉图像的局部信息,增强了模型的频谱感知能力。这样的架构设置实现了全局和局部信息的有效融合,提高了模型对不同数据分布的泛化性和在快速感知中的准确性。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作优选的详细描述,下面描述中的附图是本发明的一些实施例,对于本领域或普通技术人员来讲,在不付出创造性劳动前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例应用系统模型构建后的通信场景图;
图2为本申请实施例提供的一种于改进Transformer的无线频谱状态图像分类方法的流程图;
图3为本申请实施例提供的系统流程框图;
图4为本申请实施例提供的无线频谱状态感知装置;
图5为本申请实施例的电子设备。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
其中,附图仅用于示例性说明,表示的仅是示意图,而非实物图,不能理解为对本发明的限制;对本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
需要说明的是,如图1所示本发明所应用的场景为宏区域,该区域内存在N个授权用户发射机和若干个非授权用户接收机。
还需说明的是,图1中存在5个授权用户和K个非授权用户,并该地理区域建立为笛卡尔坐标系,并划分为个等面积的网格,其中Q为水平方向上的网格数、V为垂直方向上的网格数。通过计算出每个网格与活跃授权用户之间的距离大小,可划分到type-I和type-II两个不同的区域。
①type-I类定义为:以活跃授权用户发射机为圆心,半径为rx的授权用户接收机分布区域。当非授权用户接收机位于该区域时,严格禁止其在任何条件下接入通信;
②type-II类定义为:以活跃授权用户发射机为圆心,半径为ry的圆外区域。位于该区域的非授权用户接收机距离授权用户接收机足够远,产生的干扰足够小,非授权用户接收机可以自由接入通信。
授权用户发射机的工作状态标记为1和0两种。
代表第i次感知中所划分网格内N个授权用户发射机对应的工作状态,其中/>表示授权用户发射机处于传输状态,否则/>表示授权用户发射机处于空闲状态。因此,网络中总共存在2N个类别的授权用户发射机联合传输场景,具体表示为/>
还需说明的是,本发明系统模型如下:
在第j时刻,假设第k个非授权用户接收机位于(q,v)网格,其观测信号表示为:
式中Pn表示第n个授权用户发射机发射功率,zn(j)表示第n个授权用户在第j时刻的传输信号,nk(j)是服从分布的复加性白高斯噪声,/>表示噪声功率,hn,k表示第n个授权用户发射机与第k个非授权用户接收机的信道系数,表示为:
式中是第k个非授权用户接收机相对于第n个授权用户发射机信号的阴影衰落因子,/>是多径衰落因子,PL(d)=d表示是第n个授权用户发射机到第k个非授权用户接收机的传播路径功率损耗,sn=[sn,q,sn,v]T表示第n个授权用户发射机所在的位置坐标,wk=[wk,q,wk,v]T表示第k个非授权用户接收机的位置坐标,‖·‖为欧几里得距离,可由之判断出第k个非授权用户位于type-I类或type-II类区域。对于第k个非授权用户接收机,其获得的频谱观测能量为:
其中,ω为观测信号带宽,τ为感知时间。由此,得到所有T个网格对应的能量值矩阵为:
式中代表网格(q,v)位置的非授权用户接收机在第i次感知时所获得的频谱观测能量值。
在一定时间内获取不同信噪比下的频谱观测能量矩阵以及对应的状态标签得到数据集Ψ={R1,R2,...,RT}及其对应的标签集Γ={o1,o2,...,oT}。
图2为本申请实施例提供的一种基于改进transformer的无线频谱状态图像分类方法的流程图,如图2所示,该方法为:
S201:改进SE-ResNet50的SubsequentProcessing部分,将所述频谱图像R输入到所述SE-ResNet50得到具有通道权重的特征图
S202:将所述特征图再输入到使用分层池化机制的所述改进Transformer架构中,最终得到图像的分类器模型;
S203:图像分类器输出频谱状态类别。
还需说明的是,所述改进SE-ResNet50的Subsequent Processing部分,包括:ResNet50模型,一共有五个环节:Stem Block、Stage1-4和Subsequent Processing。所述Stage1-4包含一定数量的残差块(Residual Block),在每个所述Stage的所述ResidualBlock的最后引入SENet模块;所述SENet模块包括全局平均池化(GAP),两个全连接层(Fully Connected layer),ReLU和Sigmoid激活函数,输出是特征图加上SE模块的加权结果。
本发明去掉SE-ResNet50中的Subsequent Processing部分,则SE-ResNet50的输出将是最后一个卷积块输出的四维张量,可以看作提取的图像特征表示,其中每个通道包含了不同的特征信息,将所述四维张量转换成图像,得到新的频谱数据集
还需说明的是,所述将所述特征图再输入到使用分层池化机制的所述改进Transformer架构中,所述分层池化机制框架包括:
将Transformer block通过堆叠和组合形成具有四个阶段的完整ViT(VisionTransformer)架构,在每个所述阶段中的第二个block之后插入一个最大池化层(MaxPoollayer)执行下采样操作以缩短序列长度,所述池化之后原本为每个Patch(图像分割成的固定大小的小块)配备的位置嵌入E由于序列长度的改变而不再有意义,因此需要补充新的位置信息:
是每个所述阶段中的第二个block的输出向量序列,于是将得到的具有新的位置信息的/>作为下一个/>的输入。
给定最后一个所述阶段的输出序列之后,应用平均池化层(AvgPool layer)和全连接层进行预测得到分类结果:
为所述最后一个阶段的输出序列。
还需说明的是,本发明将作为输入特征图,H、W和C分别表示高度、宽度和通道数。首先把图像分割成均匀非重叠的8×8个Patch,每个所述Patch:都可视为一个序列,并通过线性变换将其转换为一个向量序列输入到Transformer编码器中,使用核大小和步长为2的一维最大池化对每个所述阶段中的block的输出进行操作;特别地,在第一个阶段之后,通过一个插值操作将序列重新调整为原始长度,并将其转换为2D特征图,图3(a)、(b)、(c)表示上述过程的具体流程框架。
还需说明的是,在得到所述图像分类器模型之后,所述方法话包括:使用训练集中的数据集Ψ={R1,R2,...,RT}和对应的标签集Γ={o1,o2,...,oT}来训练模型,将测试数据输入到训练好的模型执行分类任务,并输出无线频谱状态标签
在采用集成的单元的情况下,图4表示出了上述实施例中所涉及的一种的结构示意图。该装置包括:处理单元501。
处理单元501,用于改进SE-ResNet50的Subsequent Processing部分,将所述频谱图像R输入到所述SE-ResNet50得到具有通道权重的特征图
处理单元501,还用于将所述特征图再输入到使用分层池化机制的所述改进Transformer架构中,得到图像的分类器模型;
处理单元501,还用于图像分类器输出频谱状态类别。
还需要说明的是,为描述的方便和简洁,上述描述的基于改进Transformer的无线频谱状态图像分类装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
图5为本申请实施例三提供的一种电子设备的结构示意图,如图5所示,该装置可以包括处理器601和存储器602,所述存储器602与所述处理器601耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述处理器从所述存储器中读取所述计算机指令,以使得所述电子设备执行上述实施例所提供的基于改进Transformer的无线频谱状态图像分类方法。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质可以包括计算机程序或指令,当该计算机程序或指令在计算机上运行时,使得该计算机执行上述实施例所述的基于改进Transformer的无线频谱状态图像分类方法。
本申请实施例提供一种计算机程序产品,包括计算机程序或指令,当该计算机程序或指令在计算机上运行时,使得该计算机执行上述实施例所述的基于改进Transformer的无线频谱状态图像分类方法。
上述实施例可以全部或部分通过软件、硬件、固件或者任意组合实现。当使用软件程序实现时,上述实施例可以全部或部分地以计算机程序产品的形式出现,计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本申请实施例的流程或功能。
应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种基于改进Transformer的无线频谱状态图像分类方法,其特征在于,所述方法包括:
改进SE-ResNet50的Subsequent Processing部分,将所述频谱图像R输入到所述SE-ResNet50得到具有通道权重的特征图
将所述特征图再输入到使用分层池化机制的所述改进Transformer架构中,最终得到图像的分类器模型;
图像分类器输出频谱状态类别。
2.根据权利要求1所述的一种基于改进Transformer的无线频谱状态图像分类方法,其特征在于,所述改进SE-ResNet50的Subsequent Processing部分,包括:
所述SE-ResNet50不经过Subsequent Processing环节,即不进行自适应全平均池化和全连接层的处理,选择所有通道来可视化通过模型输出的B×C×H×W四维张量;
根据所述处理之后,用于特征提取的模型输出是经过卷积和池化后的特征图。
3.根据权利要求1所述的一种基于改进Transformer的无线频谱状态图像分类方法,其特征在于,所述将所述频谱图像R输入到所述SE-ResNet50得到具有通道权重的特征图之前,还包括:
将目标地理区域内感知设备收集到的频谱观测数据图像化。
4.根据权利要求1所述的一种基于改进Transformer的无线频谱状态图像分类方法,其特征在于,所述将所述特征图再输入到使用分层池化机制的所述改进Transformer架构中,包括:
将Transformer模块(block)划分为M个阶段,并对每个阶段应用下采样操作以缩小序列长度;
假设{b1,b2,...,bM}是每个阶段第二个block的索引,在第m个阶段,对Transformer索引的block使用输出核大小为d、步长为s进行一维最大池化操作来逐渐降低采样序列长度,从而实现分层池化。
5.根据权利要求1所述的一种基于改进Transformer的无线频谱状态图像分类方法,其特征在于,所述图像分类器输出频谱状态类别,包括:
使用训练集中的图像和对应的标签来训练模型,将测试集输入到训练好的模型执行分类任务,并输出无线频谱状态类别标签。
6.一种基于改进Transformer的无线频谱状态图像分类装置,其特征在于,包括:
处理单元,用于改进SE-ResNet50的Subsequent Processing部分,将所述频谱图像R输入到所述SE-ResNet50得到具有通道权重的特征图
处理单元,还用于将所述特征图再输入到使用分层池化机制的所述改进Transformer架构中,得到图像的分类器模型;
处理单元,还用于图像分类器输出频谱状态类别。
7.一种电子设备,其特征在于,包括:处理器和存储器,所述存储器与所述处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述处理器从所述存储器中读取所述计算机指令,以使得所述电子设备执行如权利要求1~5中任一项所述的基于改进Transformer的无线频谱状态图像分类方法。
8.一种计算机存储介质,其特征在于,当所述计算机指令在终端上运行时,使得所述终端执行如权利要求1~5中任一项所述的基于改进Transformer的无线频谱状态图像分类方法。
9.一种计算机程序产品,其特征在于,当所述计算机程序产品在计算上运行时,使得所述计算机执行如权利要求1~5中任一项所述的基于改进Transformer的无线频谱状态图像分类方法。
CN202410241012.7A 2024-03-04 2024-03-04 一种基于改进Transformer的无线频谱状态图像分类方法 Pending CN117975163A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410241012.7A CN117975163A (zh) 2024-03-04 2024-03-04 一种基于改进Transformer的无线频谱状态图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410241012.7A CN117975163A (zh) 2024-03-04 2024-03-04 一种基于改进Transformer的无线频谱状态图像分类方法

Publications (1)

Publication Number Publication Date
CN117975163A true CN117975163A (zh) 2024-05-03

Family

ID=90864792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410241012.7A Pending CN117975163A (zh) 2024-03-04 2024-03-04 一种基于改进Transformer的无线频谱状态图像分类方法

Country Status (1)

Country Link
CN (1) CN117975163A (zh)

Similar Documents

Publication Publication Date Title
CN113326930B (zh) 数据处理方法、神经网络的训练方法及相关装置、设备
CN112163601B (zh) 图像分类方法、系统、计算机设备及存储介质
Zhang et al. Deep learning for robust automatic modulation recognition method for IoT applications
US20220375192A1 (en) Optimization method, apparatus, device for constructing target detection network, medium and product
CN112910811A (zh) 基于联合学习的噪声水平未知条件下的盲调制识别方法和装置
CN111798469A (zh) 基于深度卷积神经网络的数字图像小数据集语义分割方法
CN112115830B (zh) 一种基于比特域特征提取的目标分布式融合识别方法
CN114764577A (zh) 一种基于深度神经网络的轻量级调制识别模型及其方法
CN116580184A (zh) 一种基于YOLOv7的轻量化模型
CN110428473B (zh) 一种基于辅助变量的对抗生成网络的彩色图像灰度化方法
CN113114399B (zh) 基于生成对抗网络的三维频谱态势补全方法和装置
CN114925720A (zh) 基于时空混合特征提取网络的小样本调制信号识别方法
CN116628566A (zh) 一种基于聚合残差变换网络的通信信号调制分类方法
CN116192307A (zh) 非高斯噪声下分布式协同的多天线协作频谱智能感知方法、系统、设备及介质
CN112766340B (zh) 基于自适应空间模式的深度胶囊网络图像分类方法及系统
CN114548201A (zh) 无线信号的自动调制识别方法、装置、存储介质及设备
CN117975163A (zh) 一种基于改进Transformer的无线频谱状态图像分类方法
CN112702132B (zh) 一种基于卷积神经网络分类器的宽带频谱感知方法
CN113343796B (zh) 一种基于知识蒸馏的雷达信号调制方式识别方法
Sun et al. Environment information-based channel prediction method assisted by graph neural network
US11507803B2 (en) System for generating synthetic digital data for data multiplication
Vysotska et al. Fast Color Images Clustering for Real-Time Computer Vision and AI System.
CN114915526B (zh) 通信信号调制识别方法、装置及系统
CN116781191A (zh) 一种面向非正交多址场景的频谱感知方法和系统
Bidwai et al. LSTM model for Channel Occupation Prediction in GSM Band

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination