CN114866172B - 基于倒残差深度神经网络的干扰识别方法和装置 - Google Patents
基于倒残差深度神经网络的干扰识别方法和装置 Download PDFInfo
- Publication number
- CN114866172B CN114866172B CN202210781968.7A CN202210781968A CN114866172B CN 114866172 B CN114866172 B CN 114866172B CN 202210781968 A CN202210781968 A CN 202210781968A CN 114866172 B CN114866172 B CN 114866172B
- Authority
- CN
- China
- Prior art keywords
- time
- layer
- interference
- frequency image
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 59
- 230000002441 reversible effect Effects 0.000 claims abstract description 6
- 238000010586 diagram Methods 0.000 claims description 51
- 238000011176 pooling Methods 0.000 claims description 37
- 230000009467 reduction Effects 0.000 claims description 19
- 230000001174 ascending effect Effects 0.000 claims description 16
- 230000002452 interceptive effect Effects 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 3
- 230000006854 communication Effects 0.000 abstract description 8
- 238000004891 communication Methods 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 38
- 238000013527 convolutional neural network Methods 0.000 description 11
- 230000002829 reductive effect Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 3
- 238000000137 annealing Methods 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- DPXDJGUFSPAFJZ-UHFFFAOYSA-L disodium;4-[3-methyl-n-(4-sulfonatobutyl)anilino]butane-1-sulfonate Chemical compound [Na+].[Na+].CC1=CC=CC(N(CCCCS([O-])(=O)=O)CCCCS([O-])(=O)=O)=C1 DPXDJGUFSPAFJZ-UHFFFAOYSA-L 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 101150038736 todB gene Proteins 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B17/00—Monitoring; Testing
- H04B17/30—Monitoring; Testing of propagation channels
- H04B17/309—Measuring or estimating channel quality parameters
- H04B17/345—Interference values
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Quality & Reliability (AREA)
- Electromagnetism (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种基于倒残差深度神经网络的干扰识别方法和装置,属于无线通信技术领域。所述方法包括:将干扰信号的时频图像和真实类别组成训练集;将训练集中的时频图像输入基于通道、时间和频率的三重注意力模块的倒残差深度神经网络进行识别,输出干扰信号的预测类别;将训练集中的真实类别和预测类别输入预先构建的损失函数对倒残差深度神经网络进行训练,得到训练好的倒残差深度神经网络;将待识别的干扰信号输入训练好的倒残差深度神经网络进行识别,得到干扰信号类别。采用本方法能够根据三重注意力模块从时频图像中提取包含时频域和通道域的综合干扰特征,充分利用了时频图像中多个维度的干扰特征信息,有效提高了干扰识别的准确率。
Description
技术领域
本申请涉及无线通信技术领域,特别是涉及一种基于倒残差深度神经网络的干扰识别方法和装置。
背景技术
干扰认知是实现抗干扰通信的基础和前提,是抗干扰通信系统的重要组成部分。在通信过程中,接收方如果能够有效识别出干扰信号类型,便可采取相对应的抗干扰决策,最大限度地躲避或抑制干扰,降低干扰对通信质量的损害。因此,准确识别干扰类别具有重要的研究意义和实用价值。
现有的干扰识别算法主要分为特征提取和分类决策两个步骤。特征参数提取主要分为提取如时域峰度、带宽因子等具备专家知识和明确物理含义的特征参数,和提取仅具有数值区分的无物理含义的特征参数2类。与2类参数提取方式相对应的分类决策方法又可分为支持矢量机(Support Vector Machine,SVM)、决策树模型,k最近邻算法(k-NearestNeighbor,KNN)等经典机器学习算法和卷积神经网络(Convolutional Neural Networks,CNN)方法。
其中,经典机器学习算法的优点在于结构简单、运算量小,但是仅在强干扰条件下具有良好的识别性能,且极易受到干扰信号功率的影响,并且需要专家建立模型特征描述等知识工程,人力成本依赖性较强。CNN方法可以实现自动提取出仅具有数值区分意义的特征参数,在特征提取方面具有显著优势,因而更多的基于CNN的算法被用于解决干扰识别问题,但是CNN方法在强噪声背景下性能仍然不能保证,不适用于低干噪比场景,同时为了提升准确率,传统算法数据集的构建以及网络的设计复杂度较高。
发明内容
一种基于倒残差深度神经网络的干扰识别方法,所述方法包括:
对干扰信号进行采样得到接收信号,对接收信号进行短时傅里叶变换得到干扰信号的时频图像,将时频图像和干扰信号的真实类别组成训练集;
将训练集中的时频图像输入基于通道、时间和频率的三重注意力模块的倒残差深度神经网络进行识别,输出干扰信号的预测类别;其中,倒残差深度神经网络包括:第一普通卷积层、倒残差结构、第二普通卷积层全局平均池化层、展平层、随机丢失层、全连接层和Softmax层;第一普通卷积层从时频图像中提取时频图像特征,得到时频图像特征图;基于三重注意力模块的倒残差结构从时频图像特征图中提取包含时频域和通道域的综合干扰特征,得到综合干扰特征图;将综合干扰特征图依次输入第二普通卷积层、全局平均池化层、展平层、随机丢失层、全连接层和Softmax层进行识别,得到干扰信号的预测类别;
将训练集中的真实类别和预测类别输入预先构建的损失函数对倒残差深度神经网络进行训练,得到训练好的倒残差深度神经网络;
将待识别的干扰信号输入训练好的倒残差深度神经网络进行识别,得到干扰信号类别。
在其中一个实施例中,对干扰信号进行采样得到接收信号,对接收信号进行短时傅里叶变换得到干扰信号的时频图像,包括:
在一定的干噪比范围内对干扰信号进行间隔采样,得到接收信号,对接收信号进行短时傅里叶变换得到干扰信号的时频图像,表示为
在其中一个实施例中,将时频图像和干扰信号的真实类别组成训练集,包括:
根据双三次插值算法对时频图像进行插值变换,得到目标分辨率的时频图像,将目标分辨率的时频图像和干扰信号的真实类别组成训练集。
在其中一个实施例中,第一普通卷积层从时频图像中提取时频图像特征,得到时频图像特征图,包括:
根据kaiming方法对第一普通卷积层进行权重初始化,得到初始化普通卷积层;
初始化普通卷积层根据批量归一化处理和Swish激活函数激活从时频图像中提取时频图像特征,得到时频图像特征图。
在其中一个实施例中,基于三重注意力模块的倒残差结构从时频图像特征图中提取包含时频域和通道域的综合干扰特征,得到综合干扰特征图,包括:
倒残差结构包括升维卷积层、深度可分离卷积层、三重注意力模块、降维卷积层、随机丢失层和捷径分支;
根据升维卷积层、深度可分离卷积层对时频图像特征图进行升维,得到升维特征图;
根据三重注意力模块从通道、时间和频率三个维度对升维特征图进行加权,得到三重加权特征图;
根据降维卷积层、随机丢失层对三重加权特征图进行降维,得到降维特征图;
将降维特征图与捷径分支中的时频图像特征图进行相加,得到综合干扰特征图。
在其中一个实施例中,倒残差结构为多层重复堆叠的倒残差结构。
在其中一个实施例中,三重注意力模块包括通道平均池化层、时间平均池化层和频率平均池化层、降维卷积层和升维卷积层;
根据三重注意力模块从通道、时间和频率三个维度对升维特征图进行加权,得到三重加权特征图,包括:
将升维特征图依次输入通道平均池化层、降维卷积层和升维卷积层进行赋权,得到一重加权值,将一重加权值与升维特征图相乘,得到一重加权特征图;
将一重加权特征图依次输入时间平均池化层、降维卷积层和升维卷积层进行赋权,得到二重加权值,将二重加权值与一重加权特征图相乘,得到二重加权特征图;
将二重加权特征图依次输入频率平均池化层、降维卷积层和升维卷积层进行赋权,得到三重加权值,将三重加权值与二重加权特征图相乘,得到三重加权特征图。
在其中一个实施例中,将综合干扰特征图依次输入第二普通卷积层、全局平均池化层、展平层、随机丢失层、全连接层和Softmax层进行识别,得到干扰信号的预测类别,包括:
将综合干扰特征图依次输入第二普通卷积层、全局平均池化层、展平层、随机丢失层、全连接层和Softmax层进行识别,得到干扰信号的预测类别概率,表示为
在其中一个实施例中,将训练集中的真实类别和预测类别输入预先构建的损失函数对倒残差深度神经网络进行训练,得到训练好的倒残差深度神经网络,包括:
构建损失函数为交叉熵损失函数,表示为
将训练集中的真实类别和预测类别输入交叉熵损失函数对倒残差深度神经网络进行训练,得到训练好的倒残差深度神经网络。
一种基于倒残差深度神经网络的干扰识别装置,所述装置包括:
训练集构建模块,用于对干扰信号进行采样得到接收信号,对接收信号进行短时傅里叶变换得到干扰信号的时频图像,将时频图像和干扰信号的真实类别组成训练集;
网络构建模块,用于将训练集中的时频图像输入基于通道、时间和频率的三重注意力模块的倒残差深度神经网络进行识别,输出干扰信号的预测类别;其中,倒残差深度神经网络包括:第一普通卷积层、倒残差结构、第二普通卷积层全局平均池化层、展平层、随机丢失层、全连接层和Softmax层;第一普通卷积层从时频图像中提取时频图像特征,得到时频图像特征图;基于三重注意力模块的倒残差结构从时频图像特征图中提取包含时频域和通道域的综合干扰特征,得到综合干扰特征图;将综合干扰特征图依次输入第二普通卷积层、全局平均池化层、展平层、随机丢失层、全连接层和Softmax层进行识别,得到干扰信号的预测类别;
网络训练模块,用于将训练集中的真实类别和预测类别输入预先构建的损失函数对倒残差深度神经网络进行训练,得到训练好的倒残差深度神经网络;
测试模块,用于将待识别的干扰信号输入训练好的倒残差深度神经网络进行识别,得到干扰信号类别。
上述基于倒残差深度神经网络的干扰识别方法和装置,首先对干扰信号进行时频分析得到时频图像,并将时频图像和干扰信号的真实类别组成训练集,再将训练集送入倒残差深度神经网络学习最优化参数,通过训练好的倒残差深度神经网络实现待识别干扰信号的类型识别,其中,倒残差深度神经网络通过引入基于通道、时间和频率的三重注意力模块从时频图像中提取包含时频域和通道域的综合干扰特征,充分利用了时频图像中多个维度的干扰特征信息,有效提高了干扰识别的准确率。
附图说明
图1为一个实施例中基于倒残差深度神经网络的干扰识别方法的流程示意图;
图2为一个实施例中倒残差深度神经网络进行干扰识别的流程示意图;
图3为一个实施例中倒残差深度神经网络的整体结构图;
图4为一个实施例中干噪比等于0时的单音干扰的时频图像示意图:
图5为一个实施例中干噪比等于0时的梳状谱干扰的时频图像示意图
图6为一个实施例中干噪比等于0时的正弦调频干扰的时频图像示意图
图7为一个实施例中干噪比等于0时的多音干扰的时频图像示意图
图8为一个实施例中干噪比等于0时的频带干扰的时频图像示意图
图9为一个实施例中干噪比等于0时的线性调频干扰的时频图像示意图
图10为一个实施例中干噪比等于0时的噪声调频干扰的时频图像示意图
图11为一个实施例中干噪比等于0时的脉冲干扰的时频图像示意图
图12为一个实施例中Swish函数与ReLU函数的激活函数曲线对比示意图;
图13为一个实施例中倒残差结构的整体结构图;
图14为一个实施例中三重注意力模块的整体结构图;
图15为一个实施例中四种不同网络结构下的干扰识别性能对比示意图;
图16为一个实施例中八种不同注意力机制下的干扰识别准确率对比示意图;
图17为一个实施例中四种不同网络结构的复杂度条形统计示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在一个实施例中,如图1所示,提供了一种基于倒残差深度神经网络的干扰识别方法,包括以下步骤:
步骤102,对干扰信号进行采样得到接收信号,对接收信号进行短时傅里叶变换得到干扰信号的时频图像,将时频图像和干扰信号的真实类别组成训练集。
可以理解,在信号传输中发射端会产生各类干扰信号,接收端需要对这些干扰信号进行识别,最大限度地躲避或抑制干扰,降低干扰对通信质量的损害。
步骤104,将训练集中的时频图像输入基于通道、时间和频率的三重注意力模块的倒残差深度神经网络进行识别,输出干扰信号的预测类别;其中,倒残差深度神经网络包括:第一普通卷积层、倒残差结构、第二普通卷积层全局平均池化层、展平层、随机丢失层、全连接层和Softmax层;第一普通卷积层从时频图像中提取时频图像特征,得到时频图像特征图;基于三重注意力模块的倒残差结构从时频图像特征图中提取包含时频域和通道域的综合干扰特征,得到综合干扰特征图;将综合干扰特征图依次输入第二普通卷积层、全局平均池化层、展平层、随机丢失层、全连接层和Softmax层进行识别,得到干扰信号的预测类别;
可以理解,如图2所示,倒残差深度神经网络进行干扰识别首先要将训练集中的时频图像输入基于通道、时间和频率的三重注意力模块(Channel Time FrequencyAttention Module,CTFAM)的倒残差深度神经网络进行识别,输出干扰信号的预测类别,其中,倒残差深度神经网络的整体结构如图3所示,根据三重注意力模块可以从通道、时间和频率三种维度提取干扰特征,提高了干扰识别的性能。
步骤106,将训练集中的真实类别和预测类别输入预先构建的损失函数对倒残差深度神经网络进行训练,得到训练好的倒残差深度神经网络。
可以理解,预先构建的损失函数为针对多分类问题的交叉熵函数,通过将训练集中的真实类别和预测类别输入交叉熵函数进行计算,并根据优化器训练交叉熵函数至最小,将交叉熵函数最小时的网络作为训练好的倒残差深度神经网络,保证倒残差深度神经网络的干扰识别性能。
步骤108,将待识别的干扰信号输入训练好的倒残差深度神经网络进行识别,得到干扰信号类别。
可以理解,在得到训练好的倒残差深度神经网络之后,还需要将测试集中的待识别的干扰信号输入训练好的倒残差深度神经网络,验证该网络的干扰识别的准确率。
上述基于倒残差深度神经网络的干扰识别方法和装置,首先对干扰信号进行时频分析得到时频图像,并将时频图像和干扰信号的真实类别组成训练集,再将训练集送入倒残差深度神经网络学习最优化参数,通过训练好的倒残差深度神经网络实现待识别干扰信号的类型识别,其中,倒残差深度神经网络通过引入基于通道、时间和频率的三重注意力模块从时频图像中提取包含时频域和通道域的综合干扰特征,充分利用了时频图像中多个维度的干扰特征信息,有效提高了干扰识别的准确率。
在其中一个实施例中,在一定的干噪比范围内对干扰信号进行间隔采样得到接收信号,对接收信号进行短时傅里叶变换得到干扰信号的时频图像,表示为
具体地,如表1所示,对于8种不同的干扰信号,在进行采样之前,增大干扰参数设计的范围,提高参数产生的随机性,表1中随机带宽因子表示随机产生的干扰信号带宽占据系统分析带宽的比例,针对线性/正弦调频类干扰,随机周期是指完成1个频率变化周期时的信号持续时长;
表1 8种干扰信号的参数设置
参数设定之后,将干噪比(JNR)的范围设置为,dB表示单位,在该范围内对干扰信号间隔2 dB进行采样,采样频率设置为,采样点数设置为,采样得到接收信号,通过将对接收信号进行短时傅里叶变换得到干扰信号的时频图像,时域分段长度为512,相邻窗之间的重叠长度为440,傅里叶变换点数为1024,窗函数采用汉明窗。其中,每个JNR条件下产生600张时频图,并按照4:1的比例随机拆分成训练集和测试集,训练集和测试集包括时频图像和干扰信号的真实类别,具体地,在时的8种干扰信号的时频图像如图4至图11所示,图4至图11分别表示单音干扰、梳状谱干扰、正弦调频干扰、多音干扰、部分频带干扰、线性调频干扰、噪声调频干扰以及脉冲干扰这8中不同干扰情况下的时频图像。
可以理解,在各类干扰信号通过高斯白噪声信道之后,对各类干扰信号进行采样得到接收信号,并对接收信号进行短时傅里叶变换得到各类干扰信号的时频图像,最后将时频图像和各类干扰信号的真实类别组成数据集,并将数据集按一定比例分为训练集和测试集。使得在不影响干扰识别性能的前提下,降低了数据预处理和数据集构建的复杂度。
在其中一个实施例中,经过短时傅里叶变换得到干扰信号的时频图像还需要根据Bicubic函数双三次插值算法对时频图像进行插值变换,得到目标分辨率的时频图像,将目标分辨率的时频图像和干扰信号的真实类别组成训练集,其中,双三次插值算法表示为
具体地,对于产生的分辨率大小为的RGB时频图像,根据Bicubic函数双三次插值,使得输出像素值是最近邻点中的像素的加权平均值,得到分辨率大小为的RGB时频图像,将分辨率大小为的时频图像和干扰信号的真实类别组成训练集;
可以理解,通过双三次插值算法,可以使时频图像的分辨率大小统一为目标分辨率,并在适当减少参数计算量的同时,调整图像尺寸使得图像更适应所设计网络的学习表达能力。
在其中一个实施例中,第一普通卷积层从时频图像中提取时频图像特征,得到时频图像特征图,包括:
根据kaiming方法对第一普通卷积层进行权重初始化,得到初始化普通卷积层;初始化普通卷积层根据批量归一化处理和Swish激活函数激活从时频图像中提取时频图像特征,得到时频图像特征图。
可以理解,使用kaiming方法对卷积模块进行权重初始化,并且对数据进行批量归一化(Batch Normalization,BN),可以在加速网络训练收敛的同时,提升训练的稳定性,另外,本发明采用Swish激活函数,如图12所示,不同于常见的ReLU激活函数,Swish函数是一个介于线性函数与ReLU函数之间的平滑函数,它改善了零点的不可导特性,并且在负半轴仍能保持梯度取值,增强泛化能力的同时也提高了精度。
在其中一个实施例中,倒残差结构如图13所示,包括升维卷积层、深度可分离卷积层、三重注意力模块、降维卷积层、随机丢失层(Dropput)和捷径分支(Shortcut);
根据升维卷积层、深度可分离卷积层对时频图像特征图进行升维,得到升维特征图;
根据三重注意力模块从通道、时间和频率三个维度对升维特征图进行加权,得到三重加权特征图;
根据降维卷积层、随机丢失层对三重加权特征图进行降维,得到降维特征图;
将降维特征图与捷径分支中的时频图像特征图进行相加,得到综合干扰特征图。
具体地,升维卷积层和深度可分离卷积层中还包含BN处理和Swish激活,降维卷积层中还包括BN处理。
可以理解,升维卷积层为卷积核大小为的卷积层,起到扩充通道数量的升维作用,深度可分离卷积层(Depthwise Conv)可以大幅减少计算量和模型大小,三重注意力模块针对特征图不同属性的重要性进行加权,降维卷积层为卷积核大小为的卷积层,可以使特征图恢复原本的通道数量,特征图再通过Dropout层,与捷径(shortcut)分支相加后输出新的特征图结果。
可以理解,当网络层数过深时,可能会对图像过度解读,从而产生过拟合现象,因此通过引入1条线性直达通路称之为残差连接,即捷径分支,可以解决网络层数过深而出现梯度消失,从而性能退化的问题。
在其中一个实施例中,倒残差结构为多层重复堆叠的倒残差结构。
具体地,倒残差结构堆叠层数为7层,每层重复的次数如表2所示,每层分别重复1,2,2,3,3,4,1次,其中,表格中每个倒残差结构(IRBlock)后跟一个数字1或6,表示倍率因子,即IRBlock中第一个的卷积层会将输入特征图的通道数量扩充为输入的1或6倍,其中或表示IRBlock中深度可分离卷积层所采用的卷积核大小,Channels表示通过倒残差结构后输出特征图的通道数量,Resolution为通过倒残差结构后输出特征图的高度和宽度,Stride为每个倒残差结构第1层中的深度可分离卷积层的步距。
表2网络结构参数设置
可以理解,通过重复堆叠倒残差IRBlock结构,可以加深对不同特征图的权值影响。
在其中一个实施例中,三重注意力模块的整体结构如图14所示,包括通道平均池化层、时间平均池化层和频率平均池化层、降维卷积层和升维卷积层;
根据三重注意力模块从通道、时间和频率三个维度对升维特征图进行加权,得到三重加权特征图,包括:
将升维特征图依次输入通道平均池化层(Channel Avgpooling)、降维卷积层(Conv1)和升维卷积层(Conv2)进行赋权,得到一重加权值,将一重加权值与升维特征图相乘,得到一重加权特征图;
将一重加权特征图依次输入时间平均池化层(Time Avgpooling)、降维卷积层和升维卷积层进行赋权,得到二重加权值,将二重加权值与一重加权特征图相乘,得到二重加权特征图;
将二重加权特征图依次输入频率平均池化层(Frequency Avgpooling)、降维卷积层和升维卷积层进行赋权,得到三重加权值,将三重加权值与二重加权特征图相乘,得到三重加权特征图。
具体地,通过降维卷积层将维度减小为原本的1/4,还要经过Swish激活后,再根据升维卷积层升维回原本的维度,并经过Sigmoid激活函数激活后,得到对应特征图的权值,并与输入的特征图相乘,从而得到赋予权值后的三重加权特征图。
可以理解,三重注意力模块不仅仅考虑了每个通道之间的关系,为输入特征图每一个通道赋予0-1之间的权值,来重新衡量每个通道的重要性,还考虑了特征空间中与时间、频率相对应的位置信息,从而来自适应地集成局部特征和全局依赖。
在其中一个实施例中,将综合干扰特征图依次输入第二普通卷积层、全局平均池化层、展平层(flatten)、随机丢失层、全连接层(FC)和Softmax层进行识别,得到干扰信号的预测类别,包括:
将综合干扰特征图依次输入第二普通卷积层、全局平均池化层、展平层、随机丢失层、全连接层和Softmax层进行识别,得到干扰信号的预测类别概率,表示为
可以理解,第二普通卷积层用于提升通道数量,增大特征空间;全局平均池化层,对特征图进行稀疏处理,不仅实现了对原始数据的压缩,还大量减少了参与模型计算的参数,提升了计算效率;展平层用来去除多余的高度和宽度维度;随机丢失层,随机丢失概率为0.2,防止神经元数目过多,学习能力过强而造成过拟合;Softmax层通过对全连接层输出结果的计算,得到干扰信号属于每个类别的概率。
在其中一个实施例中,将训练集中的真实类别和预测类别输入预先构建的损失函数对倒残差深度神经网络进行训练,得到训练好的倒残差深度神经网络,包括:
构建损失函数为交叉熵损失函数,表示为
将训练集中的真实类别和预测类别输入交叉熵损失函数对倒残差深度神经网络进行训练,得到训练好的倒残差深度神经网络。
具体地,将训练集中的真实类别和预测类别输入交叉熵损失函数进行计算,并根据Adam方法优化交叉熵损失函数和网络参数,同时学习率采取等间隔预热的策略,加快训练收敛速度,达到最大设定学习率之后,按照如下式的余弦退火(CosineAnnealing)方法实现学习率衰减
表3网络训练参数设置
可以理解,在得到训练好的倒残差深度神经网络之后,还需要将测试集中的待识别的干扰信号输入训练好的倒残差深度神经网络,验证该网络的干扰识别的准确率。
具体地,为了进一步验证本发明提出的本发明提出的基于倒残差深度神经网络的干扰识别的优异性能,将本发明提出的倒残差深度神经网络(Proposed)与1型卷积神经网络(ConvNet1),2型卷积神经网络(ConvNet2),23层残差卷积神经网络(ResNet23)的方法做横向对比,如图15所示,可以知道,本发明所提出的倒残差深度神经网络,在低干噪比条件下识别准确率性能优越,且干噪比越低,优势越明显。在干噪比时就能够实现对所有类型干扰100%的准确识别,在时所有类型的干扰信号识别准确率都能达到98.3%以上,在准确率也依然可以达到90%以上。
如图16所示,将本发明的基于三重注意力模块与基于其他7中注意力机制的网络模型的干扰识别的准别率进行比较,由图16可以知道,在高干噪比条件下,对不同干扰类型都能做到准确识别,而当时,结合局部放大图可知,相比未引入注意力机制,引入单一的时间或者频率注意力反而会使网络性能下降,而包含通道注意力的方式均能使性能有所提升,并且本发明所提的综合通道、时间、频率3种注意力的方法具有最优的性能。
如表4所示,统计了4种网络模型下的时间复杂度和空间复杂度的数量统计。
表4 4种网络的模型复杂度对比
根据表4中4种网络的模型复杂度对比,可以知道,选择ConvNet1为基线网络,从上至下总参数数量 (Params)的相对比值为,即,计算量(FLOPs)的比值大小为,即,结合图17所示的四种不同网络结构的复杂度条形统计示意图,可以知道,可见基线网络ConvNet1结构简单,不能很好地识别并拟合低干噪比时的干扰差异,而ConvNet2相比基线网络,产生了更多的FLOPs,空间复杂度更是基线的8.46倍,计算能力换来了部分性能提升,ResNet23网络空间复杂度虽然不高,但由于不断加深网络层数且引入残差连接,FLOPs数量呈现出指数级增长,达到了基线网络的64.6倍,导致训练时间成倍增长,性能的提升是以大量时间的牺牲来实现的,而本发明所提网络的参数数量仅为基线的2.6倍,浮点运算数量仅为基线的3.16倍,不仅很好地平衡了时间和空间复杂度,并且在低干噪比条件下性能也显著提升,即所提出的网络算法以相对较少的存储资源和的FLOPs实现了更好的识别性能,这进一步验证了所提模型的性能优越性。
应该理解的是,虽然图1-3和图13-14流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1-3和图13-14中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,提供了一种基于倒残差深度神经网络的干扰识别装置,包括:训练集构建模块、网络构建模块、网络训练模块和测试模块,其中:
训练集构建模块,用于对干扰信号进行采样得到接收信号,对接收信号进行短时傅里叶变换得到干扰信号的时频图像,将时频图像和干扰信号的真实类别组成训练集。
可以理解,在信号传输中发射端会产生各类干扰信号,接收端需要对这些干扰信号进行识别,最大限度地躲避或抑制干扰,降低干扰对通信质量的损害。
网络构建模块,用于将训练集中的时频图像输入基于通道、时间和频率的三重注意力模块的倒残差深度神经网络进行识别,输出干扰信号的预测类别;其中,倒残差深度神经网络包括:第一普通卷积层、倒残差结构、第二普通卷积层全局平均池化层、展平层、随机丢失层、全连接层和Softmax层;第一普通卷积层从时频图像中提取时频图像特征,得到时频图像特征图;基于三重注意力模块的倒残差结构从时频图像特征图中提取包含时频域和通道域的综合干扰特征,得到综合干扰特征图;将综合干扰特征图依次输入第二普通卷积层、全局平均池化层、展平层、随机丢失层、全连接层和Softmax层进行识别,得到干扰信号的预测类别。
可以理解,倒残差深度神经网络进行干扰识别首先要将训练集中的时频图像输入基于通道、时间和频率的三重注意力模块(Channel Time Frequency Attention Module,CTFAM)的倒残差深度神经网络进行识别,输出干扰信号的预测类别,其中,倒残差深度神经网络的整体结构如图3所示,根据三重注意力模块可以从通道、时间和频率三种维度提取干扰特征,提高了干扰识别的性能。
网络训练模块,用于将训练集中的真实类别和预测类别输入预先构建的损失函数对倒残差深度神经网络进行训练,得到训练好的倒残差深度神经网络。
可以理解,预先构建的损失函数为针对多分类问题的交叉熵函数,通过将训练集中的真实类别和预测类别输入交叉熵函数进行计算,并根据优化器训练交叉熵函数至最小,将交叉熵函数最小时的网络作为训练好的倒残差深度神经网络,保证倒残差深度神经网络的干扰识别性能。
测试模块,用于将待识别的干扰信号输入训练好的倒残差深度神经网络进行识别,得到干扰信号类别。
可以理解,在得到训练好的倒残差深度神经网络之后,还需要将测试集中的待识别的干扰信号输入训练好的倒残差深度神经网络,验证该网络的干扰识别的准确率。
关于基于倒残差深度神经网络的干扰识别装置的具体限定可以参见上文中对于基于倒残差深度神经网络的干扰识别方法的限定,在此不再赘述。上述基于倒残差深度神经网络的干扰识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (9)
1.一种基于倒残差深度神经网络的干扰识别方法,其特征在于,所述方法包括:
对干扰信号进行采样得到接收信号,对所述接收信号进行短时傅里叶变换得到所述干扰信号的时频图像,将所述时频图像和所述干扰信号的真实类别组成训练集;
将所述训练集中的时频图像输入基于通道、时间和频率的三重注意力模块的倒残差深度神经网络进行识别,输出所述干扰信号的预测类别;其中,所述倒残差深度神经网络包括:第一普通卷积层、倒残差结构、第二普通卷积层、全局平均池化层、展平层、随机丢失层、全连接层和Softmax层;所述第一普通卷积层从所述时频图像中提取时频图像特征,得到时频图像特征图;基于所述三重注意力模块的所述倒残差结构从所述时频图像特征图中提取包含时频域和通道域的综合干扰特征,得到综合干扰特征图;将所述综合干扰特征图依次输入所述第二普通卷积层、全局平均池化层、展平层、随机丢失层、全连接层和Softmax层进行识别,得到所述干扰信号的预测类别;
将所述训练集中的所述真实类别和所述预测类别输入预先构建的损失函数对所述倒残差深度神经网络进行训练,得到训练好的倒残差深度神经网络;
将待识别的干扰信号输入所述训练好的倒残差深度神经网络进行识别,得到干扰信号类别;
所述基于所述三重注意力模块的所述倒残差结构从所述时频图像特征图中提取包含时频域和通道域的综合干扰特征,得到综合干扰特征图,包括:
所述倒残差结构包括升维卷积层、深度可分离卷积层、三重注意力模块、降维卷积层、随机丢失层和捷径分支;
根据所述升维卷积层、深度可分离卷积层对所述时频图像特征图进行升维,得到升维特征图;
根据所述三重注意力模块从通道、时间和频率三个维度对所述升维特征图进行加权,得到三重加权特征图;
根据所述降维卷积层、随机丢失层对所述三重加权特征图进行降维,得到降维特征图;
将所述降维特征图与所述捷径分支中的所述时频图像特征图进行相加,得到综合干扰特征图。
3.根据权利要求2所述的方法,其特征在于,将所述时频图像和所述干扰信号的真实类别组成训练集,包括:
根据双三次插值算法对所述时频图像进行插值变换,得到目标分辨率的时频图像,将所述目标分辨率的时频图像和所述干扰信号的真实类别组成所述训练集。
4.根据权利要求1所述的方法,其特征在于,所述第一普通卷积层从所述时频图像中提取时频图像特征,得到时频图像特征图,包括:
根据kaiming方法对所述第一普通卷积层进行权重初始化,得到初始化普通卷积层;
所述初始化普通卷积层根据批量归一化处理和Swish激活函数激活从所述时频图像中提取时频图像特征,得到时频图像特征图。
5.根据权利要求1所述的方法,其特征在于,所述倒残差结构为多层重复堆叠的倒残差结构。
6.根据权利要求1所述的方法,其特征在于,所述三重注意力模块包括通道平均池化层、时间平均池化层和频率平均池化层、降维卷积层和升维卷积层;
根据所述三重注意力模块从通道、时间和频率三个维度对所述升维特征图进行加权,得到三重加权特征图,包括:
将所述升维特征图依次输入所述通道平均池化层、降维卷积层和升维卷积层进行赋权,得到一重加权值,将所述一重加权值与所述升维特征图相乘,得到一重加权特征图;
将所述一重加权特征图依次输入所述时间平均池化层、降维卷积层和升维卷积层进行赋权,得到二重加权值,将所述二重加权值与所述一重加权特征图相乘,得到二重加权特征图;
将所述二重加权特征图 依次输入所述频率平均池化层、降维卷积层和升维卷积层进行赋权,得到三重加权值,将所述三重加权值与所述二重加权特征图相乘,得到所述三重加权特征图。
9.一种基于倒残差深度神经网络的干扰识别装置,其特征在于,所述装置包括:
训练集构建模块,用于对干扰信号进行采样得到接收信号,对所述接收信号进行短时傅里叶变换得到所述干扰信号的时频图像,将所述时频图像和所述干扰信号的真实类别组成训练集;
网络构建模块,将所述训练集中的时频图像输入基于通道、时间和频率的三重注意力模块的倒残差深度神经网络进行识别,输出所述干扰信号的预测类别;其中,所述倒残差深度神经网络包括:第一普通卷积层、倒残差结构、第二普通卷积层、全局平均池化层、展平层、随机丢失层、全连接层和Softmax层;所述第一普通卷积层从所述时频图像中提取时频图像特征,得到时频图像特征图;基于所述三重注意力模块的所述倒残差结构从所述时频图像特征图中提取包含时频域和通道域的综合干扰特征,得到综合干扰特征图;将所述综合干扰特征图依次输入所述第二普通卷积层、全局平均池化层、展平层、随机丢失层、全连接层和Softmax层进行识别,得到所述干扰信号的预测类别;
网络训练模块,用于将所述训练集中的所述真实类别和所述预测类别输入预先构建的损失函数对所述倒残差深度神经网络进行训练,得到训练好的倒残差深度神经网络;
测试模块,用于将待识别的干扰信号输入所述训练好的倒残差深度神经网络进行识别,得到干扰信号类别;
所述基于所述三重注意力模块的所述倒残差结构从所述时频图像特征图中提取包含时频域和通道域的综合干扰特征,得到综合干扰特征图,包括:
所述倒残差结构包括升维卷积层、深度可分离卷积层、三重注意力模块、降维卷积层、随机丢失层和捷径分支;
根据所述升维卷积层、深度可分离卷积层对所述时频图像特征图进行升维,得到升维特征图;
根据所述三重注意力模块从通道、时间和频率三个维度对所述升维特征图进行加权,得到三重加权特征图;
根据所述降维卷积层、随机丢失层对所述三重加权特征图进行降维,得到降维特征图;
将所述降维特征图与所述捷径分支中的所述时频图像特征图进行相加,得到综合干扰特征图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210781968.7A CN114866172B (zh) | 2022-07-05 | 2022-07-05 | 基于倒残差深度神经网络的干扰识别方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210781968.7A CN114866172B (zh) | 2022-07-05 | 2022-07-05 | 基于倒残差深度神经网络的干扰识别方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114866172A CN114866172A (zh) | 2022-08-05 |
CN114866172B true CN114866172B (zh) | 2022-09-20 |
Family
ID=82626853
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210781968.7A Active CN114866172B (zh) | 2022-07-05 | 2022-07-05 | 基于倒残差深度神经网络的干扰识别方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114866172B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116910469B (zh) * | 2023-06-28 | 2024-08-06 | 南通大学 | 一种基于三通道ResNet的闪电信号处理方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112163574A (zh) * | 2020-11-23 | 2021-01-01 | 南京航天工业科技有限公司 | 一种基于深度残差网络的etc干扰信号发射机的识别方法及系统 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110689030A (zh) * | 2018-07-04 | 2020-01-14 | 佳能株式会社 | 属性识别装置和方法及存储介质 |
CN110927706B (zh) * | 2019-12-10 | 2022-05-24 | 电子科技大学 | 基于卷积神经网络的雷达干扰检测识别方法 |
CN112347871B (zh) * | 2020-10-23 | 2023-04-07 | 中国电子科技集团公司第七研究所 | 一种用于通信载波监视系统的干扰信号调制识别方法 |
CN113049084B (zh) * | 2021-03-16 | 2022-05-06 | 电子科技大学 | 一种基于注意力机制的Resnet的分布式光纤传感信号识别方法 |
CN114580461A (zh) * | 2022-01-20 | 2022-06-03 | 西安电子科技大学 | 一种雷达干扰识别网络的训练方法和雷达干扰识别方法 |
-
2022
- 2022-07-05 CN CN202210781968.7A patent/CN114866172B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112163574A (zh) * | 2020-11-23 | 2021-01-01 | 南京航天工业科技有限公司 | 一种基于深度残差网络的etc干扰信号发射机的识别方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114866172A (zh) | 2022-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109841226B (zh) | 一种基于卷积递归神经网络的单通道实时降噪方法 | |
Theis et al. | Faster gaze prediction with dense networks and fisher pruning | |
CN110048827B (zh) | 一种基于深度学习卷积神经网络的类模板攻击方法 | |
Liang et al. | Automatic modulation recognition based on adaptive attention mechanism and ResNeXt WSL model | |
CN109890043B (zh) | 一种基于生成式对抗网络的无线信号降噪方法 | |
CN110334580A (zh) | 基于集成增量的动态权重组合的设备故障分类方法 | |
CN112183742A (zh) | 基于渐进式量化和Hessian信息的神经网络混合量化方法 | |
CN112241724A (zh) | 一种基于双路卷积长短期神经网络的自动识别方法及系统 | |
CN114881092A (zh) | 一种基于特征融合的信号调制识别方法 | |
CN104732244A (zh) | 基于小波变换、多策略pso和svm集成的遥感图像分类方法 | |
CN113222998B (zh) | 基于自监督低秩网络的半监督图像语义分割方法及装置 | |
CN114866172B (zh) | 基于倒残差深度神经网络的干扰识别方法和装置 | |
CN113408577A (zh) | 一种基于注意力机制的图像分类方法 | |
CN113488060A (zh) | 一种基于变分信息瓶颈的声纹识别方法及系统 | |
CN114764577A (zh) | 一种基于深度神经网络的轻量级调制识别模型及其方法 | |
Kong et al. | Waveform recognition in multipath fading using autoencoder and CNN with Fourier synchrosqueezing transform | |
CN116628566A (zh) | 一种基于聚合残差变换网络的通信信号调制分类方法 | |
Liang et al. | Attention mechanism based ResNeXt network for automatic modulation classification | |
Essai et al. | Automatic Modulation Classification: Convolutional Deep Learning Neural Networks Approaches | |
CN111950411B (zh) | 模型确定方法及相关装置 | |
Zhang et al. | Machine learning based protocol classification in unlicensed 5 GHz bands | |
CN118115853A (zh) | 一种基于轻量化全卷积神经网络的宽带信号检测方法 | |
CN114998725B (zh) | 基于自适应空谱注意力核生成网络的高光谱图像分类方法 | |
CN115514597A (zh) | 一种基于注意力机制与残差结构的联合调制识别方法 | |
CN115955375A (zh) | 基于cnn-gru和ca-vgg特征融合的调制信号识别方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |