CN116340807B - 宽带频谱信号检测与分类网络 - Google Patents
宽带频谱信号检测与分类网络 Download PDFInfo
- Publication number
- CN116340807B CN116340807B CN202310036443.5A CN202310036443A CN116340807B CN 116340807 B CN116340807 B CN 116340807B CN 202310036443 A CN202310036443 A CN 202310036443A CN 116340807 B CN116340807 B CN 116340807B
- Authority
- CN
- China
- Prior art keywords
- network
- heatmap
- signal
- point
- branch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 61
- 238000001228 spectrum Methods 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 claims description 43
- 238000012549 training Methods 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 description 22
- 238000002474 experimental method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 238000011084 recovery Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000002679 ablation Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种宽带频谱信号检测与分类网络，所述分类网络包括骨干网络，所述骨干网络的输入为宽带频谱信号，所述骨干网络的输出分别与HeatMap分支以及回归分支连接，所述HeatMap分支用于估计信号起止点信息，所述回归分支用于生成2DBox高度；所述分类网络通过HeatMap分支为每个信号标记一个2D方框来定位和检测所有感兴趣的宽带信号，所述分类网络首先利用HeatMap分支估计二维方框上边缘的起止点，然后，对于二维框变量，通过回归支路回归一个变量，实现对宽带信号的二维Box估计。所述网络具有检测速度快，计算量小等优点。
Description
技术领域
本发明涉及频谱信号检测技术领域，尤其涉及一种宽带频谱信号检测与分类网络。
背景技术
信号检测(SD)和分类(SC)是认知无线电领域中最具挑战性的任务之一。对于传统SD技术，利用专家经验特征，有效的方法主要分为四类:匹配滤波方法、循环平稳方法、特征值检测方法、能量检测方法。而现有的研究主要集中在信号存在性的确定上，而没有对信号参数进行估计。其中，只有少数基于能量检测的简单方法可以大致得到信号个数、载波频率、信号带宽等简单参数，这给信号发生时间的估计带来了困难。因此，一种不需要任何先验信息的精确的盲谱传感方法是非常重要的。
作为一种互补技术，基于深度学习(DL)的方法可以克服信号噪声的干扰，提供准确的信号产生时间、现有频率范围等参数，在传统经验特征方法难以完成的信号检测任务中实现高检测概率和低虚警概率。作为深度学习网络的输入，短时傅里叶变换(STFT)公开频谱的时频表示，用于信号的联合检测和时频局部化。在信号存在性检测方面，Ke等首创了卷积长短期深度神经网络，从输入信号序列中提取频域和时域特征，因此DL网络比传统的能量检测方法具有不可比拟的优势。受图像语义分割任务的启发，Huang等设计了一维全卷积网络(FCN)来检测宽带功率谱，并在真实卫星信号数据集上验证了FCN的有效性。
但考虑到宽带通信信号接收机的采样率和实时性要求较高，现有的上述网络由于结构复杂，属于次优方案，处理时间过长。此外，宽带通信信号仍然是一个具有挑战性的任务，因为具有极端纵横比的物体的尺度不平衡和任意方向。
为了利用基于DL的快速检测方法，提出了一种不需要非最大抑制的单级检测框架CenterNet用于目标检测。的确，通过优化2DBox的检测方法，该框架可以更高效地检测出具有极端长径比的不连续信号。Li等研究了关键点估计来定位信号区域的粗糙中心线，并对三个变量进行回归得到二维盒属性，包括局部偏移量和边界偏移量。但是，由于基于中心点或中心线的CNN接收场限制了其全向接收场，因此该方法回归困难，检测精度较差。
发明内容
本发明所要解决的技术问题是提供一种检测速度快的宽带频谱信号检测与分类网络。
为解决上述技术问题，本发明所采取的技术方案是：一种宽带频谱信号检测与分类网络，其特征在于：包括骨干网络，所述骨干网络的输入为宽带频谱信号，所述骨干网络的输出分别与HeatMap分支以及回归分支连接，所述HeatMap分支用于估计信号起止点信息，所述回归分支用于生成2DBox高度；所述分类网络通过HeatMap分支为每个信号标记一个2D方框来定位和检测所有感兴趣的宽带信号，所述分类网络首先利用HeatMap分支估计二维方框上边缘的起止点，然后，对于二维框变量，通过回归支路回归一个变量，实现对宽带信号的二维Box估计。
进一步的技术方案在于:用3个变量参数化2D包围盒Bd＝(bup0,bup1,h)，其中bup0和bup1分别表示2D盒上边缘的起点和终点，h表示2D盒的高度；
首先利用起止点估计网络估计二维方框上边缘的起止点，然后，对于二维框变量，利用变量回归网络估计h。
进一步的技术方案在于，使用双HeatMap来定位二维盒子上边缘的起停点：
具体来说，启停点估计网络的输入是一个时频谱，其中为图像的宽度和高度，输出为HeatMap，其中为匹配输入图像的低分辨率等效图，设为2D盒子上边缘的起止点，目标是生成预测启停点的特征提取模块F。
首先，需要将标签中的起始-停止点映射到HeatMap中；考虑到开始-停止点已经是二维方框的最上边界，定义一个半高斯核函数：
式中和/>分别逐个映射到HeatMap，Y∈[0,1](W/R)×(H/R)×N，R为下采样比，σ表示信号盒尺寸的自适应标准差，/>和/>是目标中心的位置的横坐标和纵坐标；
然后，采用起止点估计网络对起止点进行回归，拟设网络检测到的最大信号数为k，并定义HeatMap，其中B为批量大小，；由于启停点的y轴分量相同，首先对X个通道进行求和，在/>上形成通道缩减的图像特征，然后提取图像特征通道上的前k个分量/>然后，为了确定信号的类型，在最新的图像特征上提取前k个位置，在N个通道上使用信道缩减；
根据通道N的位置，由分量推断出前k个信号起止点的y轴分量；根据y轴位置和n通道位置反向恢复原/>下的特征点位置，提取出下的x轴分量；在此基础上，提取置信度最高的两个坐标位置，即信号起止点的x轴分量；
最后输出信号的启停点信息。
进一步的技术方案在于，采用回归分支网络，使每个变量基于HeatMap上的关键点表示，给定来自骨干网DLA-34的特征流，分支网络输出的特征图为回归结果；该网络同时从每个HeatMap峰值位置的启停点学习信号的频率范围特征，并通过加权平均得到最终的信号终止频率。
进一步的技术方案在于，关键点分类损失函数的计算方法如下：
在下采样HeatMap上以启停点明智的方式采用惩罚降低焦损，在开始点和停止点位置(iup0,jup0),(iup1,jup1)分别定义来自HeatMap的输出为kup0,kup1，sup0,sup1表示相应起止点的地真值，通过式(1)中的半高斯核进行预处理；和/>的定义为:
起止点对信号位置损失的一个例子可以表示为:
ΓHm＝Γup0+Γup1 (5)
式中(α,β)为可调超参数，N为时频谱中起止点的个数。
进一步的技术方案在于，高度抵消损失的计算方法包括如下步骤：
回归分支输出一个在起始点和停止点具有有效值的单通道图，对其进行加权平均，得到最终的二维盒高；
定义Δyt为高度偏移量，回归分支输出一个在起始点和停止点都有有效值的两通道图，对应于HeatMap峰值位置的起始点和停止点(Δyup0,Δyup1)的高度偏移量，在高度偏移量损失处使用L1损失Γheight：
通过联合最小化能量来训练所提网络的参数:
ΓDCNet＝ΓHm+λ1Γheight (7)
其中λ1表示高度抵消损失权重，选择λ1＝0.1。
采用上述技术方案所产生的有益效果在于：所述检测与分类网络无需特殊的候选锚点即可进行训练，通过从头到尾寻找全局和局部的关键特征信息，该网络从信号回归分支中只回归一个变量，实现了更快的检测。广泛的评估表明，与目前最先进的方法相比，本方法有显著的改进。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1是本发明实施例所述检测与分类网络的结构示意图；
图2是本发明实施例中基于半高斯核的信号起止点位置图；
图3是本发明实施例中提取图像特征上的前k个分量图；
图4是本发明实施例中提取Heatmap上的起止点图；
图5是本发明实施例中回归分支架构图；
图6是本发明实施例中调制信号的时频谱不同的信噪比图；
图7是本发明实施例中预测HeatMap与GroundTruthHeatMap在信号起止点上的对应关系图；
图8是本发明实施例中训练损失迭代函数图；
图9a是本发明实施例中本申请网络在不同网络中应用前后的precision-recall曲线图(从上到下:应用本申请之前，应用本申请之后)；
图9b是本发明实施例中本申请网络在不同网络中应用前后的precision-recall曲线图(从上到下:应用本申请之前，应用本申请之后)；
图10a是本发明实施例中随时间变化的网络损失函数：从上到下依次为训练损失变化曲线(训练损失vs.epoch)、验证损失变化曲线(验证损失vs.epoch)；
图10b是本发明实施例中随时间变化的网络损失函数：从上到下依次为训练损失变化曲线(训练损失vs.epoch)、验证损失变化曲线(验证损失vs.epoch)；
图11是本发明实施例中检测到的宽带信号可视化图；
图12a-12c是本发明实施例中宽带信号检测查全率(从上到下依次为:GFSK信号查全率与精度曲线、PSK信号查全率与精度曲线、FSK信号查全率与精度曲线)；
图13是本发明实施例中混淆矩阵图；
图14是本发明实施例中不同信噪比下仿真信号数据集的信号分类精度图；
图15是本发明实施例中本申请所述网络在边缘设备(NVIDIAJetsonXavierNX)上运行的状态图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
如图1所示，本发明实施例公开了一种宽带频谱信号检测与分类网络，该网络基于信号的起始端点建模来执行检测任务。显然，沿信号2D盒上边缘的起始点和停止点传递着丰富的信息，分别包括信号的起始频率、信号产生的起始和结束时间。本申请的目标是使用HeatMap来定位它们，并利用它们来精确检测具有极端纵横比的信号。
具体的，本申请所述分类网络包括骨干网络、HeatMap分支以及回归分支连接，所述骨干网络的输入为宽带频谱信号，所述骨干网络的输出分别与HeatMap分支以及回归分支连接，所述HeatMap分支用于估计信号起止点信息，所述回归分支用于生成2DBox高度；所述分类网络通过HeatMap分支为每个信号标记一个2D方框来定位和检测所有感兴趣的宽带信号，所述分类网络首先利用HeatMap分支估计二维方框上边缘的起止点，然后，对于二维框变量，通过回归支路回归一个变量，实现对宽带信号的二维Box估计。
网络体系结构：
更具体地说，本申请简要介绍了问题的核心和方法概述，定义为信号启停点对全局-局部联合特征的感知。随后详细介绍了整体框架和各个关键组件，以及如何将HeatMap关键点嵌入到探测器中以提高检测精度。最后，目标是通过定义建议的损耗来约束网络的输出到2DBox元素。网络结构概述如图1所示，该网络主要由三部分组成：一般骨干网络、用于估计信号起止点的HeatMap分支和生成2DBox高度的回归分支。
问题制定和方法概述：
本申请通常面对的信号区域是一个水平长的矩形。然而，现有网络的接收场难以覆盖整个信号，而基于中心线的网络比较复杂。因此，本申请放弃了锚点的生成，转而预测信号二维盒上边缘线的起止点，避免了锚点的形状错配，节省了大量的时间。
给定一个通过短时间傅里叶变换(STFT)导出的时频频谱，提出的方法旨在通过为每个信号标记一个2D方框来定位和检测所有感兴趣的宽带信号。不同于一般二维边界框的描述，一般用4个变量来描述:Bd＝(o(x,y),h,l)，本申请用3个变量参数化2D包围盒Bd＝(bup0,bup1,h)，其中bup0和bup1分别表示2D盒上边缘的起点和终点，h表示2D盒的高度。
本申请首先利用起止点估计网络估计二维方框上边缘的起止点。然后，对于二维框变量(高度)，本申请利用变量回归网络估计h。
B.启停点估计网络
本申请使用HeatMap网络作为启停点估计网络，本申请提出了双HeatMap来定位二维盒子上边缘的起停点。
具体来说，启停点估计网络的输入是一个时频谱，其中为图像的宽度和高度。输出为HeatMap，其中为匹配输入图像的低分辨率等效图。设为2D盒子上边缘的起止点。本申请的目标是生成预测启停点的特征提取模块F。
首先，需要将标签中的起始-停止点映射到HeatMap中。考虑到开始-停止点已经是二维方框的最上边界，本申请定义一个半高斯核函数:
式中和/>分别逐个映射到HeatMap，Y∈[0,1](W/R)×(H/R)×N，R为下采样比，σ表示信号盒尺寸的自适应标准差，/>和/>是目标中心的位置的横坐标和纵坐标。如图2所示，利用半高斯核将标签上的起止点映射到信号的频谱上。
然后，采用起止点估计网络对起止点进行回归。需要注意的是，将预测的起止点与信号的位置进行映射是一个必须解决的问题。
拟设网络检测到的最大信号数为k，并定义HeatMap，其中B为batchsize。如图3所示，由于启停点的y轴分量相同，首先对X个通道进行求和，在/>上形成通道缩减的图像特征，然后提取图像特征通道上的前k个分量/>然后，为了确定信号的类型，在最新的图像特征上提取前k个位置，在N个通道上使用信道缩减。
进一步，根据通道N的位置，由分量推断出前k个信号起止点的y轴分量。根据y轴位置和n通道位置反向恢复原/> 下的特征点位置，提取出下的x轴分量。在此基础上，提取置信度最高的两个坐标位置，即信号起止点的x轴分量。具体流程如图4所示。
最后，在算法1中总结了所提出的双HeatMap映射方案。
回归分支：
前一种分支称为启停点估计网络，它提取信号二维盒上边缘的启停点，包括信号的启停时间和启停频率。为了得到信号停止频率，本申请采用回归分支网络，使每个变量基于HeatMap上的关键点表示。
该方法不是基于HeatMap上的某个特定关键点来预测本质变量(停止频率)，而是利用HeatMap上的启停点同时回归停止频率。图5显示了回归分支网络的框架。
具体来说，给定来自骨干网DLA-34的特征流，分支网络输出的特征图为回归结果。该网络同时从每个HeatMap峰值位置的启停点学习信号的频率范围特征，并通过加权平均得到最终的信号终止频率。目前还没有引入信号检测方法直接沿着二维方框上边缘方向的起止点进行频率特征的搜索和提取，而本申请采用这种思路避免了间断信号与背景的混淆。
关键点分类损失：
在下采样HeatMap上以启停点明智的方式采用惩罚降低焦损。在开始点和停止点位置(iup0,jup0),(iup1,jup1)分别定义来自HeatMap的输出为kup0,kup1。sup0,sup1表示相应起止点的地真值，通过式(1)中的半高斯核进行预处理。和/>的定义为:
起止点对信号位置损失的一个例子可以表示为:
ΓHm＝Γup0+Γup1 (5)
式中(α,β)为可调超参数，N为时频谱中起止点的个数。
高度抵消损失：
回归分支输出一个在起始点和停止点具有有效值的单通道图，对其进行加权平均，得到最终的二维盒高，以减少回归误差。
定义为高度偏移量，回归分支输出一个在起始点和停止点都有有效值的两通道图，对应于HeatMap峰值位置的起始点和停止点(Δyup0,Δyup1)的高度偏移量，本申请在高度偏移量损失处使用L1损失Γheight:
因此，本申请通过联合最小化能量来训练所提网络的参数:
ΓDCNet＝ΓHm+λ1Γheight (7)
其中λ1表示高度抵消损失权重。在所有的实验中都选择λ1＝0.1。
实验
实现细节：
数据集1:为了模拟实际的宽带环境，本申请选择了一个在宽带测试中经常出现的特征良好的数据集，包括2ASKFM、AM、2PSK、2FSK和64QAM。在这个合成数据集中，数据集的信噪比在[-15，15]dB范围内变化，信号可以表示为具体参数见表1。图6给出了不同信噪比调制信号的时频谱图。可以观察到信号淹没在强噪声背景中，这对调制信号的识别有很大的影响。
表1仿真信号具体参数。
数据集2:首先使用持续时间较短的短时间宽带信号数据集，分析本申请算法对多个短突发信号的检测和捕获能力。短时间宽带采样检测(200ms)是通过在真实环境中模拟采样产生的，采样率为6400KHz，采样时间为200ms。从载波持续时间的角度来看，信号可以分为两种类型:恒定载波和突发载波，其中每个样本文件包含多个载波，具有不同的调制类型和载波噪声比。信号的时域波形及相应的时频频谱如图7(没有该图)所示。由此可以观察到，多个突发信号和普通信号密集而无序地隐藏在频谱中，难以分辨和检测。
评价指标:评价指标基于精确召回率曲线，IoU阈值为0.35。本申请使用二维边界框重叠指数(IOU)来计算40点插值平均精度(AP)。另外，速度(Speed)和功耗(PowerConsumption)两个方面作为评估参数，其中速度(Speed)计算算法的每秒帧数(FPS)，功耗(Power Consumption)评估GPU的内存使用情况。
训练计划:本申请将数据集1的信号时频谱作为神经网络输入，其中7200个信号用于训练样本，1800个信号用于测试，数据集2的1000个信号用于训练样本，200个信号用于测试。本申请使用dla-34[39](参见现有技术：Y.Fisher,W.Dequan,S Evan,et al,“Deeplayer aggregation,”inthe Proceedings of the Conference on Computer Vision andPatternRecognition,arXiv:1707.06484,pp.2403-2412,2018.)作为起止点估计网络和回归分支网络的骨干。本申请在Pytorch1.1、Geforce3060gpu上训练了200个epoch的批量大小为2的网络，其中输入频谱缩放到512×512，学习率设置为1×10-4，并采用自适应优化策略。在测试过程中，本申请使用检测到的前80个信号起止点，并使用0.2的阈值对它们进行过滤，而不是使用NMS。
消融对比研究：
主要消融对比分析。为了验证算法的有效性，在网络上进行了烧蚀研究。结果如表2所示。表2中的实验1展示了基准模型(基于中心点定位的CenterNet)的信号检测性能。实验2在CenterNet中加入了启停预测，对模拟数据集和实际接收数据集的AP性能分别提高了+5.4％和+93.7％。在实验3中加入半高斯核，从label映射到HeatMap，性能略有提高(+0.7％和+0.8％)。这说明信号的起停点在HeatMap信号定位中是有用的，省去了使用回归分支网络对信号x轴上的起停点和y轴上的起点的预测。此外，在HeatMap中设置半高斯核，提高了关键点估计既准确又自信的收敛速度。表2中的实验4显示，使用联合起止点损失而不是独立约束起止点时，检测性能提高(+0.8％和+1.5％)，这揭示了起止点损失的贡献。预测HeatMap和Ground Truth HeatMap在信号起止点上的对应如图7所示，这也反映了通过一系列技术定位起止点的有效性。
表2使用和不使用建议组件训练的模型性能比较
信号定位器的设计。为了评估不同信号定位器对网络训练收敛性的影响，本申请设计了基于中心点、左上角点、右下角、中心线、上边界线和起止点的信号定位器进行比较。如表3所示，观察网络训练收敛时期(60，98，102，15，20)。边界角定位器与中心线定位器的性能差距最大，可见中心线估计器的贡献。但基于中心线的检测网络在预测阶段位置偏差较大，二维变量回归过程复杂，而基于中心点的检测网络在训练不连续突发信号时收敛性较差，因此折衷的方法是基于启停点的信号检测网络，这进一步提高了收敛性和二维变量回归的简单性。如图8所示为带有epoch的训练损失曲线，使用起止点可以提高检测性能相对于中心点和中心线的增益，尤其是在对不连续突发信号的检测中。
表3不同信号位置下网络训练收敛性比较。
骨干网络设计。当骨干网(BN)选择为DLA34、DLA46_c、DLA60x_c、DLA60x、DLA102时，比较了本申请的算法在不同网络中应用前后的检测精度，如表4所示。可以观察到，DLA框架为特征提取提供了合适的架构。当选择DLA60_x作为骨干网络时，性能最差。DLA46_c是一个比DLA34略浅的网络，检测性能较低。最好的是DLA34，它提供了树网络参数([1，1，1，2，2，1]，[16，32，64，128，256，512])最好的层数和输出通道。另外，在图9a-9b中，绘制了应用本申请的算法前后的precision-recall曲线进行对比。值得注意的是，本申请的算法在应用于不同网络时，可以稳健地提高检测准确率和召回率。具体来说，通过使用起止点定位技术，DLA34、DLA46_c、DLA46x_c、DLA60x_c、DLA60x和DLA102在召回率方面分别提供了53.8％、145％、36.1％、109％和99.3％左右的性能提升。
表4本申请的算法在不同网络中应用前后的检测精度
与先进技术的比较：
为了评价网络的性能，本申请采用平均精度(map)作为评价信号的标准。根据起止点的检测概率，本申请首先对所有预测的包围盒进行降序排序。然后，当IOU≥0.35时，提取每个预测结果，绘制网络训练的收敛曲线，并计算精度-召回值。提取起止点所在信道层数作为信号分类结果。然后，评估所提出的网络在边缘设备上的低功耗和低内存使用的可行性。
训练收敛。图10a-图10b报告了不同网络的平均训练损耗和验证损耗作为时代的函数。本申请观察到，所有网络的总损失随着时代的变化而逐渐收敛。与其他方法相比，本申请的算法在收敛速度(图10a)和损耗波动(图10b)上具有更大的优势。前者表明了损失函数与梯度下降算法的匹配，后者则表明了本申请的算法的优势，利用起点回归的平均值作为网络预测值，减少了每批中正负目标的数量。
信号检测的性能。评估本申请的模型在多个比较上的性能，包括载波频率，开始时间和停止时间。表5总结了仿真数据集和实际接收信号的主要结果，mAP值越高，检测性能越好。观察到:(1)本申请的方法在所有数据集上都达到了最先进的精度。请注意，本申请的方法在实际数据集上的性能远远领先于其他算法，这就解释了本申请的方法应用于实际宽带环境的重要性。(2)将下采样造成的2Dbox误差回归为CenterNet[15](请见现有技术：X.Zhou，D.Wang，andP.Kr¨ahenb¨uhl，“Objects as Points，”in Proceeding softhe IEEEConferenceon Computer Vision and Pattern Recognition，arXiv:2012.12397，2020.)时，本申请的方法进一步显著优于其他方法。具体而言，本申请的方法在x轴方向上对启停点的误差进行了回归，与原方法相比提高了100％以上，而在y轴方向上的误差进行回归，使算法性能提高了13.4％。
表5-GFSK信号数据集各参数结果比较
来自本申请的方法和两个基线方法的示例预测如图11所示。与两种基线相比，该算法在不同类型的信号，甚至不连续突发信号中产生了更高质量的二维包围盒。该方法的优越性能可以归因于信号的位置，利用起点和终点。Yolov3[36](请见现有技术：J.Redmonand A.Farhadi，“YOLOV3:an incremental improvement，”2018，https://arxiv.org/abs/1804.02767)方法的mAP误差主要是由于模型在学习和分离变长宽比信号方面能力有限，导致超参数设置偏差，设计难度大，对先验知识要求较强。CenterNet[15]方法中mAP的丢失主要来自于不连续突发信号中大量漏掉了中心检测，其中由于信号的不连续，信号中心可能处于不连续的信号背景中。
2D建议召回率。准确率与召回率的对比如图12a-12c所示。为了与最新的技术进行比较，在图12a-12c中，本申请还绘制了两种基准方法在不同类型的宽带信号数据集上的精确召回性能。曲线下面积越大，预测效果越好。注意到，本申请提出的算法明显优于yolov3[36]、SSD[31](请见现有技术：W.Liu，D.Anguelov，D.Erhanetal.，“SSD:single shotmulti boxdetector，”in Proceedings of the 14th European Conference ECCV2016，pp.21-37，Amsterdam，The Netherlands，October2016)和CenterNet[15]。具体来说，本申请观察到了GFSK数据集在召回率上的重要收益(+52.6％，+49.8％)。而对于FSK数据集，该算法的召回率为89.7％，约为CenterNet算法的57.3％。
信号的分类性能。通过建立一个独立的分支网络，本申请的网络可以在检测到信号时对信号类型进行分类。为了进一步评价本申请网络的分类能力，使用不同的数据集来验证本申请的方法的分类效果。不同类型信号的平均分类精度和混淆矩阵如表6和图13所示，其中混淆矩阵的x轴为预测结果，y轴为无线电信号的真实标签。从表6和图13可以看出，该网络在模拟信号数据2ASK、FM、AM、2PSK、2FSK和64QAM下的识别精度最高。更实用的是在发射和接收信号下的领先性能，尤其是本申请网络在不连续突发信号(GFSK*、PSK*、FSK*)上的显著性能。这一特性在认知无线电领域具有重要意义，可以多次关联和检测短突发信号。因此，上述比较说明了本申请的网络在信号调制识别方面的优越性。
表6测试数据集上不同算法信号分类结果对比(-10dB)
图14给出了不同信噪比下模拟信号数据集的分类精度。可以观察到经典探测器(RCNN[21](请见现有技术：P.Fryzlewicz，“Wild binary segmentation for multiplechange-pointdetection，”Ann.Statist.，vol.42，no.6，pp.2243-2281，Dec.2014)和Yolov3spp[36])的精度在小信噪比时急剧下降，尤其是当信噪比低于0dB时。然而，通过直接沿着起止点提取频率特征，本申请的方法可以提供比经典检测器更好的结果，本申请的方法获得了最先进的结果，模拟信号数据集在不同信噪比下的平均分类精度为95.4％。
算法效率的比较。表7显示了不同方法的运行效率和时间。具体来说，在CenterNet[15]基线(2.1*106)的网络参数上，本申请实现了5％的参数减少，并在CLNet[16](请见现有技术：Li,W.,Wang,K.,&You,L.(2020).A deep convolutional network for multitypesignal detection and classification in spectrogram.Mathematical Problems inEngineering,2020.)上观察到了一个重要的增益(-10％)。在运行时间上，本申请的算法明显比其他两个模型更快、更小。这是因为本申请的方法放弃了中心点的位置，直接从起止点估计BBox高度，从而大大减少了可变参数的数量。此外，由于输入的是小尺寸的图像(512*512)，本申请的方法进一步提高了运算速度。此外，图15展示了本申请的网络在边缘设备(NVIDIA Jetson Xavier NX)上运行的状态。该算法只占用1.9GHz的CPU和510MHz的GPU内存，这表明该算法是现场实际检测的一种可行的解决方案，即使是对长期宽带信号。
表7不同算法运行效率比较，最优结果以粗体显示。
本申请考虑了卫星宽带多信号的检测场景，其中不连续突发信号的检测是第一挑战，而动态范围内的多信号检测是重点。本申请的目标是最大限度地解决上述问题。通过定位信号的起止点，结合单一分支网络，实现了一种新型的宽带信号检测网络检测器。针对HeatMap中多特征点的提取问题，提出了一种基于多维空间变换的定位方法。该方案的优点在于利用起停点提高了对不连续突发信号的检测性能，简化了检测网络结构，降低了宽带信号接收机的功耗。最后，与现有方法相比，实验结果验证了该检测方案的有效性。
Claims (4)
1.一种宽带频谱信号检测与分类网络，其特征在于：包括骨干网络，所述骨干网络的输入为宽带频谱信号，所述骨干网络的输出分别与HeatMap分支以及回归分支连接，所述HeatMap分支用于估计信号起止点信息，所述回归分支用于生成2DBox高度；所述分类网络通过HeatMap分支为每个信号标记一个2D方框来定位和检测所有感兴趣的宽带信号，所述分类网络首先利用HeatMap分支估计2D边界框上边缘的起止点，然后，对于2D边界框变量，通过回归支路回归一个变量，实现对宽带信号的二维Box估计；
用3个变量参数化2D边界框Bd＝(bup0,bup1,h)，其中bup0和bup1分别表示2D盒上边缘的起点和终点，h表示2D盒的高度；
首先利用起止点估计网络估计2D边界框上边缘的起止点，然后，对于2D边界框变量，利用变量回归网络估计h；
使用HeatMap来定位2D边界框上边缘的起止点：
具体来说，起止点估计网络的输入是一个时频谱，其中W和H为图像的宽度和高度，输出为HeatMap，其中为匹配输入图像的低分辨率等效图，2D边界框目标是生成预测起止点的特征提取模块F；
首先，需要将标签中的起始-停止点映射到HeatMap中；考虑到起始-停止点已经是2D边界框的最上边界，定义一个半高斯核函数：
式中和/>分别逐个映射到HeatMap，Yxyc∈[0,1](W/R)×(H/R)×N，R为下采样比，σp表示2D边界框尺寸的自适应标准差，/>和/>是目标中心的位置的横坐标和纵坐标；
然后，采用起止点估计网络对起止点进行回归，拟设网络检测到的最大信号数为k，并定义HeatMap，其中B为批量大小；由于起止点的y轴分量相同，首先对N个通道进行求和，在/>上形成通道缩减的图像特征，然后提取图像特征通道上的前k个分量/>然后，为了确定信号的类型，在最新的图像特征上提取前k个位置，在N个通道上使用信道缩减；
根据通道的位置，由分量推断出前k个信号起止点的y轴分量；根据y轴位置和通道位置反向恢复原HeatMap，/>下的特征点位置，提取出HeatMap，下的x轴分量；在此基础上，提取置信度最高的两个坐标位置，即信号起止点的x轴分量；
最后输出信号的起止点信息。
2.如权利要求1所述的宽带频谱信号检测与分类网络，其特征在于：采用回归分支网络，使每个变量基于HeatMap上的关键点表示，给定来自骨干网DLA-34的特征流，分支网络输出的特征图为回归结果；该网络同时从每个HeatMap峰值位置的起止点学习信号的频率范围特征，并通过加权平均得到最终的信号终止频率。
3.如权利要求1所述的宽带频谱信号检测与分类网络，其特征在于，关键点分类损失函数的计算方法如下：
在下采样HeatMap上以起止点采用惩罚降低焦损，在起始点和停止点位置(iup0,jup0),(iup1,jup1)分别定义来自HeatMap的输出为kup0、kup1，sup0、sup1表示相应起止点的地真值，通过式(1)中的半高斯核进行预处理；和/>的定义为:
起止点对信号位置损失表示为:
ΓHm＝Γup0+Γup1 (5)
式中(α,β)为可调超参数，N为信号通道数量。
4.如权利要求1所述的宽带频谱信号检测与分类网络，其特征在于，高度抵消损失的计算方法包括如下步骤：
回归分支输出一个在起始点和停止点具有有效值的单通道图，对其进行加权平均，得到最终的2D边界框高；
定义为高度偏移量，回归分支输出一个在起始点和停止点都有有效值的两通道图，对应于HeatMap峰值位置的起始点和停止点的高度偏移量(Δyup0,Δyup1)，在高度偏移量损失处使用L1损失Γheight：
通过联合最小化能量来训练所提网络的参数:
ΓDCNet＝ΓHm+λ1Γheight (7)
其中λ1表示高度抵消损失权重，选择λ1＝0.1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310036443.5A CN116340807B (zh) | 2023-01-10 | 2023-01-10 | 宽带频谱信号检测与分类网络 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310036443.5A CN116340807B (zh) | 2023-01-10 | 2023-01-10 | 宽带频谱信号检测与分类网络 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116340807A CN116340807A (zh) | 2023-06-27 |
| CN116340807B true CN116340807B (zh) | 2024-02-13 |
Family
ID=86881129
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310036443.5A Active CN116340807B (zh) | 2023-01-10 | 2023-01-10 | 宽带频谱信号检测与分类网络 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116340807B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111160108A (zh) * | 2019-12-06 | 2020-05-15 | 华侨大学 | 一种无锚点的人脸检测方法及系统 |
| CN111209962A (zh) * | 2020-01-06 | 2020-05-29 | 电子科技大学 | 一种联合热图特征回归的基于cnn特征提取网络的联合图像分类方法 |
| CN112949635A (zh) * | 2021-03-12 | 2021-06-11 | 北京理工大学 | 一种基于特征增强和IoU感知的目标检测方法 |
| CN113011384A (zh) * | 2021-04-12 | 2021-06-22 | 重庆邮电大学 | 一种基于轻量化卷积的无锚框目标检测方法 |
| CN113673510A (zh) * | 2021-07-29 | 2021-11-19 | 复旦大学 | 一种结合特征点和锚框共同预测和回归的目标检测算法 |
| CN113963060A (zh) * | 2021-09-22 | 2022-01-21 | 腾讯科技（深圳）有限公司 | 基于人工智能的车信图像处理方法、装置及电子设备 |
| CN114419617A (zh) * | 2022-01-27 | 2022-04-29 | 中国第一汽车股份有限公司 | 一种目标检测方法、装置、设备及存储介质 |
| CN114863136A (zh) * | 2022-05-25 | 2022-08-05 | 中国人民解放军陆军炮兵防空兵学院 | 一种基于对角线网络的无锚框目标检测方法及系统 |
| WO2022186834A1 (en) * | 2021-03-04 | 2022-09-09 | Google Llc | Segmentation models having improved strong mask generalization |
| CN115171149A (zh) * | 2022-06-09 | 2022-10-11 | 广州紫为云科技有限公司 | 基于单目rgb图像回归的实时人体2d/3d骨骼关键点识别方法 |
| CN115187786A (zh) * | 2022-07-21 | 2022-10-14 | 北京工业大学 | 一种基于旋转的CenterNet2目标检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6912304B2 (ja) * | 2017-07-20 | 2021-08-04 | 株式会社日立製作所 | 波高頻度分布取得装置、波高頻度分布取得方法、波高頻度分布取得プログラム及び放射線撮像装置 |
-
2023
- 2023-01-10 CN CN202310036443.5A patent/CN116340807B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111160108A (zh) * | 2019-12-06 | 2020-05-15 | 华侨大学 | 一种无锚点的人脸检测方法及系统 |
| CN111209962A (zh) * | 2020-01-06 | 2020-05-29 | 电子科技大学 | 一种联合热图特征回归的基于cnn特征提取网络的联合图像分类方法 |
| WO2022186834A1 (en) * | 2021-03-04 | 2022-09-09 | Google Llc | Segmentation models having improved strong mask generalization |
| CN112949635A (zh) * | 2021-03-12 | 2021-06-11 | 北京理工大学 | 一种基于特征增强和IoU感知的目标检测方法 |
| CN113011384A (zh) * | 2021-04-12 | 2021-06-22 | 重庆邮电大学 | 一种基于轻量化卷积的无锚框目标检测方法 |
| CN113673510A (zh) * | 2021-07-29 | 2021-11-19 | 复旦大学 | 一种结合特征点和锚框共同预测和回归的目标检测算法 |
| CN113963060A (zh) * | 2021-09-22 | 2022-01-21 | 腾讯科技（深圳）有限公司 | 基于人工智能的车信图像处理方法、装置及电子设备 |
| CN114419617A (zh) * | 2022-01-27 | 2022-04-29 | 中国第一汽车股份有限公司 | 一种目标检测方法、装置、设备及存储介质 |
| CN114863136A (zh) * | 2022-05-25 | 2022-08-05 | 中国人民解放军陆军炮兵防空兵学院 | 一种基于对角线网络的无锚框目标检测方法及系统 |
| CN115171149A (zh) * | 2022-06-09 | 2022-10-11 | 广州紫为云科技有限公司 | 基于单目rgb图像回归的实时人体2d/3d骨骼关键点识别方法 |
| CN115187786A (zh) * | 2022-07-21 | 2022-10-14 | 北京工业大学 | 一种基于旋转的CenterNet2目标检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| A Deep Convolutional Network for Multitype Signal Detection and Classification in Spectrogram;Weihao Li et al.;《MATHEMATICAL PROBLEMS IN ENGINEERING》;第2020年卷;第1-16页 * |
| CornerNet: Detecting Objects as Paired Keypoints;Hei Law et al.;《Computer Vision - ECCV 2018. 15th European Conference. Proceedings: Lecture Notes in Computer Science (LNCS 11218)》;第1-14页 * |
| Knowledge-Guided Deep Fractal Neural Networks for Human Pose Estimation;Guanghan Ning et al.;IEEE Transactions on Multimedia;第20卷(第5期);第1246-1259页 * |
| 基于深度神经网络的宽带信号频谱检测方法及其后处理流程设计;幸晨杰 等,;《电子质量》;第2021年卷(第07期);第126-131页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116340807A (zh) | 2023-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Huynh-The et al. | Accurate LPI radar waveform recognition with CWD-TFA for deep convolutional network | |
| CN111212379A (zh) | 一种基于卷积神经网络的新型csi室内定位方法 | |
| US11468273B2 (en) | Systems and methods for detecting and classifying anomalous features in one-dimensional data | |
| CN107240122A (zh) | 基于时空连续相关滤波的视频目标跟踪方法 | |
| CN109165585A (zh) | 一种改进的基于yolo v2的船舶目标检测方法 | |
| CN102760444B (zh) | 基于支撑向量机的基带时域音频信号分类方法 | |
| CN111541511B (zh) | 复杂电磁环境下基于目标检测的通信干扰信号识别方法 | |
| CN110610717B (zh) | 复杂频谱环境混合信号的分离方法 | |
| CN103559724A (zh) | 一种高粘连度细胞环境下的多细胞同步跟踪方法 | |
| CN112734809B (zh) | 基于Deep-Sort跟踪框架的在线多行人跟踪方法及装置 | |
| CN106778680B (zh) | 一种基于关键波段提取的高光谱图像波段选择方法及装置 | |
| CN108320306B (zh) | 融合tld和kcf的视频目标跟踪方法 | |
| CN116866129A (zh) | 一种无线通信信号检测方法 | |
| CN104408482A (zh) | 一种高分辨率sar图像目标检测方法 | |
| CN108171119B (zh) | 基于残差网络的sar图像变化检测方法 | |
| CN109039503A (zh) | 一种频谱感知方法、装置、设备及计算机可读存储介质 | |
| CN115826042B (zh) | 一种边云端结合的分布式地震数据处理方法与装置 | |
| CN109740522A (zh) | 一种人员检测方法、装置、设备及介质 | |
| CN114386321A (zh) | 用于室内定位的aoa和tof联合估计方法、装置及存储介质 | |
| CN116343261A (zh) | 基于多模态特征融合与小样本学习的手势识别方法和系统 | |
| CN112164093A (zh) | 一种基于边缘特征和相关滤波的人物自动跟踪方法 | |
| CN102509308A (zh) | 基于混合动态纹理空时显著性检测的运动分割方法 | |
| Chen et al. | Deep neural network based on feature fusion for indoor wireless localization | |
| US20230385610A1 (en) | Indoor passive human behavior recognition method and device | |
| CN116340807B (zh) | 宽带频谱信号检测与分类网络 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |