CN114169368A - 一种基于信号降噪自编码器sde的信号降噪方法 - Google Patents
一种基于信号降噪自编码器sde的信号降噪方法 Download PDFInfo
- Publication number
- CN114169368A CN114169368A CN202111423589.2A CN202111423589A CN114169368A CN 114169368 A CN114169368 A CN 114169368A CN 202111423589 A CN202111423589 A CN 202111423589A CN 114169368 A CN114169368 A CN 114169368A
- Authority
- CN
- China
- Prior art keywords
- signal
- noise reduction
- self
- encoder
- sde
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Signal Processing (AREA)
- Dc Digital Transmission (AREA)
Abstract
本发明属于信号处理技术领域,具体涉及一种基于信号降噪自编码器SDE的信号降噪方法。本发明先利用属于信号集中的训练样本训练自编码器模型,再通过测试集样本挑选出性能表现最好的模型权重,最后接收到的信号输入该自编码器模型,输出即为降噪后的信号。本发明克服了传统降噪方法计算复杂度高、实时性差、复杂电磁环境中降噪性能弱等缺点,根据分块信号的调制规律一致性建模,随信号样本训练更新。本发明不需要人工分析,具有高效的感知处理能力,实时性强,同时低信噪比下降噪性能优于传统方法。
Description
技术领域
本发明属于信号处理技术领域,具体涉及一种基于信号降噪自编码器SDE的信号降噪方法。
背景技术
在日益复杂的通信电磁环境中,需要动态实时的感知对抗目标的具体参数,自动学习到威胁目标的变化,再采取对应干扰措施,这种能力是以机器学习为重要支撑的。通过与人工智能技术的结合,使机器具备感知、推理、决策和评估等能力。通过深度学习(属于机器学习)对信息战中采集到的目标信号进行降噪处理,可以有效提高后续电磁态势感知性能。
1986年Rumelhart提出自动编码器AE(Autoencoder)的概念,后来基于深度学习原理发展出了降噪DAE(Denoising Autoencoder)、稀疏降噪编码器SAE(SparseAutoencoder)、差分编码器VAE(Variational Autoencoder)和卷积编码器CAE(Convolutional Autoencoder)等,以上编码器的提出是为了对输入信息进行表征学习,应用于图像的降维和异常值检测。本发明将通信信号这样的一维序列分割成固定尺寸的数据块,各数据均满足相同的调制规律,利用数据块之间这种规律相似性关系,构建基于深度学习的自编码器模型,减弱噪声对调制规律的影响,实现降噪目的。
传统降噪方法基于小波变换、经验模态分解、奇异值分解及其他们的各种变体,但都存在计算复杂,实时性差,低信噪比下降噪性能弱等缺点,不能应对复杂的通信环境。
发明内容
本发明的目的在于克服传统降噪方法计算复杂度高、实时性差、复杂电磁环境中降噪性能弱等缺点,提出了一种基于信号降噪自编码器SDE的信号降噪方法,根据分块信号的调制规律一致性建模,随信号样本训练更新,实时性强且降噪性能远超传统方法。
一种基于信号降噪自编码器SDE的信号降噪方法,包括以下步骤:
步骤1:获取带噪的一维信号序列x,将带噪一维信号序列x分割成固定尺寸的数据块,每个数据块通过线性投影得到嵌入向量x1,x2,…,xn,将分割出的数据块嵌入到去噪编码块,每个数据块都有着和原信号相同的调制特性;
步骤2:为了表征序列的位置信息,加入随网络自动训练的相对位置编码xpos,向量x1,x2,…,xi,…,xn,xpos分别乘以3个不同的权值矩阵得到qi=Wqxi,ki=Wkxi,vi=Wvxi;其中,qi表示查询矩阵;ki表示键矩阵;vi代表了信号的调制信息;
步骤3:计算y1,y2,..,yn,ypos;
其中,d是查询矩阵qi和键矩阵ki的维度;
步骤4:将一系列的qi、ki、vi分别被打包成矩阵Q,K,V;通过自注意力机制提取调制信息,过滤噪声干扰;
Q=[x1,x2,...,xi,...,xn,xpos]TWQ=XWQ
K=[x1,x2,...,xi,...,xn,xpos]TWK=XWK
V=[x1,x2,...,xi,...,xn,xpos]TWV=XWV
步骤5:考虑到各数据块可能的相似性关系,将数据块线性映射到不同子空间,即信号通过不同的降噪编码层,将输出拼接起来再线性降维到和嵌入数据块相同维度;
MHSA(Q,K,V)=Concat(head1,head2,...,headh)WO
步骤7:将多层降噪自编码块的输出信息线性整合,同时也加入残差链接;
Z=FNN(Y')+Y'
步骤8:通过平均来综合各数据块的调制信息;
步骤10:将整个去噪过程映射成如下函数表达式:
其中,m表示信号序列的采样点数;
步骤12:通过最小化损失函数得到最优参数;
步骤13:SDE通过训练集样本训练模型网络,再通过测试集选择最优结构参数,就得到可以对7种通信信号降噪的信号降噪自编码器;
步骤14:将接收到的信号输入信号降噪自编码器中,信号降噪自编码器输出即为降噪后的信号。
本发明的有益效果在于:
本发明先利用属于信号集中的训练样本训练自编码器模型,再通过测试集样本挑选出性能表现最好的模型权重,最后接收到的信号输入该自编码器模型,输出即为降噪后的信号。本发明克服了传统降噪方法计算复杂度高、实时性差、复杂电磁环境中降噪性能弱等缺点,根据分块信号的调制规律一致性建模,随信号样本训练更新。本发明不需要人工分析,具有高效的感知处理能力,实时性强,同时低信噪比下降噪性能优于传统方法。
附图说明
图1为本发明的整体架构图。
图2为平均损失(均方误差)随迭代次数变化趋势图。
图3为SBPSK降噪前后波形图。
图4为Multi-h4 CPM降噪前后波形图。
图5为本发明中信号去噪编码层结构图。
图6为本发明中多层降噪编码结构图。
图7为各种方法对7种信号去噪指标数据统计表。
具体实施方式
下面结合附图对本发明做进一步描述。
本发明的目的是为了克服传统降噪方法计算复杂度高、实时性差、复杂电磁环境中降噪性能弱等缺点,提出了一种基于深度学习的降噪方法,根据分块信号的调制规律一致性建模,随信号样本训练更新,实时性强且降噪性能远超传统方法。
本降噪方法的原理可简单概括为:先利用属于信号集中的训练样本训练自编码器模型,再通过测试集样本挑选出性能表现最好的模型权重,最后接收到的信号输入该自编码器模型,输出即为降噪后的信号。
具体的技术方案如图1所示。
降噪过程主要分为以下几个步骤:
步骤1:输入的带噪通信一维信号序列分割成固定尺寸的数据块,然后嵌入到去噪编码块,每个数据块都有着和原信号相同的调制特性。
步骤2:因为信号序列是含有位置信息的,所以加入可随网络训练更新的相对位置编码。
步骤3:去噪编码块通过衡量各数据块调制信息的相似性提取加权因子,加权因子大说明两个数据块的调制信息相近,能加强调制信息,加权因子小说明噪声明显影响了调制信息,能减弱噪声干扰。通过对数据块的加权和来尽量重构符合原始信号调制规律的输出。
步骤4:多头注意力机制将数据块线性映射到不同子空间,充分考虑各数据块可能的相似性关系,再降维到和嵌入数据块相同维度。
步骤5:FFN表示前馈神经网络,MLP表示多层感知机,图1中两者都有两个简单线性层构成。通过MLP的输出与模型的输入构造均方误差(MSE)代价函数,然后训练网络取代价函数最小时的网络权重,即得到可用来降噪的信号自编码器模型。
实施例1:
步骤S1:接收的下变频带噪一维信号序列x分割成固定尺寸的数据块,每个数据块通过线性投影得到嵌入向量x1,x2,…,xn,然后嵌入到去噪编码块,每个数据块都有着和原信号相同的调制特性,对应于图5中的①。
步骤S2:为了表征序列的位置信息,加入随网络自动训练的相对位置编码xpos,然后向量x1,x2,…,xi,…,xn,xpos分别乘以3个不同的权值矩阵得到,qi=Wqxi,ki=Wkxi,vi=Wvxi,其中qi表示查询矩阵,ki表示键矩阵,vi代表了信号的调制信息,对应于图5中的②。
步骤S3:接下来使用每个q与每个k做内积,匹配这两个向量有多接近,再被向量维度归一化,得到相似度量a1,i。
步骤S5:最后输出是含有调制信息的vi的加权和,对应于图5中的④。
步骤S6:同样的方法能计算出y2,..,yn,ypos,且这个过程可以并行计算,减小计算量。一系列的q,k,v可以分别被打包成矩阵Q,K,V,去噪编码层输出如下所示:
Q=[x1,x2,...,xi,...,xn,xpos]TWQ=XWQ
K=[x1,x2,...,xi,...,xn,xpos]TWK=XWK
V=[x1,x2,...,xi,...,xn,xpos]TWV=XWV
步骤S7:上述步骤S1到步骤S6整个过程如图5所示,输入信号通过自注意力机制提取调制信息,过滤噪声干扰。
步骤S8:考虑到各数据块可能的相似性关系,将数据块线性映射到不同子空间,即信号通过不同的降噪编码层,将输出拼接起来再线性降维到和嵌入数据块相同维度,公式如下所示,具体过程如图6所示。
MHSA(Q,K,V)=Concat(head1,head2,...,headh)WO
式中,MHSA表示多头自注意力(Multi-head self-attention)函数,表示不同的自注意力层输出,共设置h个自注意力层,且每层维度d'=d/h。线性降维矩阵将拼接起来的h层输出降到与输入同一维度。
步骤S10:图1中右图的FNN将多层降噪自编码块的输出信息线性整合,同时也加入残差链接。
Z=FNN(Y')+Y'
步骤S11:通过平均来综合各数据块的调制信息。
步骤S13:将步骤S1到S13的整个SDE去噪过程映射成如下函数表达式:
式中,m表示信号序列的采样点数。
步骤S15:通过最小化损失函数得到最优参数。
步骤S16:SDE通过训练集样本训练模型网络,再通过测试集选择最优结构参数,就得到可以对7种通信信号降噪的信号降噪自编码器。
实施例2:
我们选7种MIL-STD-188-181C协议中的CPM信号,在每个dB下取每个信号10000个样本按9:1划分训练集和测试集。仿真条件如下:
码元速率:19200Baud;
载频:192kHz;
采样率:16倍码元速率;
符号数:64个;
滤波器带宽:1.6倍码元速率;
信号类型SBPSK、SOQPSK、Single-h CPM、Multi-h CPM{调制指数为(4/16,5/16)、(5/16,6/16),(6/16,7/16),(12/16,13/16)四组}共7种调制类型。
与现有技术相比,本发明的有益效果是:
1.训练效果
图2中,CNN-AE表示基于卷积神经网络的自编码器,RNN-AE表示基于循环卷积神经网络的自编码器,DAE是基于寻常的前馈神经网络的降噪自编码器,VAE是变分自编码器,SDE(Signal Denoising Autoencoder)是本专利提出的信号降噪自编码器。进行迭次训练,CNN与SDE可以较快达到收敛,但SDE的MSE损失值达到平稳时比CNN小,即对无噪信号的恢复效果最佳,且SDE训练时间少,。RNN随着训练次数损失值在稳步下降,但过于消耗时间。DAE和VAE训练效果都比较差,其中VAE训练的中间隐变量服从某种分布,不适合做通信信号降噪,适合作信号样本生成器。总之,相比于其它自编码器,SDE训练耗时短,信号恢复效果最佳。
2.降噪性能
信噪比(SNR,Signal-to-noise Ratio)是指在某段信号中目标信号信号能量与噪声信号能量的比值,在一定程度上能够反映信号的质量,一般来说,信噪比越大,表明混杂在该信号中的噪声越少。本专利选用信噪比作为信号降噪效果的评价指标,SNR计算式为:
式中:r表示接收到的含噪信号序列,s表示发送端无噪信号序列。
本发明中接收信号r经过下变频低通处理,s给定的先验信息。式(1)不能精确计算出SNR,但仍从中可以看出各方法降噪效果。
图7给出了-2dB、-5dB、-8dB、-11dB和-14dB下不同方法对这7种信号降噪后的SNR值。可以发现RNN和TAE降噪效果优于其他方法,但在图2中已经说明RNN训练收敛速度远慢与TAE。VAE不适合做通信信号降噪,除了VAE的其它方法对SBPSK、SOQPSK信号降噪效果最好,对第四组调制指数为(12/16,13/16)的Multi-h4 CPM降噪效果最差,主要是大调制指数使信号相位变化更快,信号波形更密集,模型的表达能力跟不上。
3.波形恢复程度
从图3和图4中明显看出本发明提出的SDE比小波阈值降噪有更好效果,基本保留了信号调制规律,有利于下一步对信号具体参数信息的提取。
本发明利用自注意力机制计算信号数据块的相似度,进而提取调制信息,构建信号降噪自编码器模型。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (1)
1.一种基于信号降噪自编码器SDE的信号降噪方法,其特征在于,包括以下步骤:
步骤1:获取带噪的一维信号序列x,将带噪一维信号序列x分割成固定尺寸的数据块,每个数据块通过线性投影得到嵌入向量x1,x2,…,xn,将分割出的数据块嵌入到去噪编码块,每个数据块都有着和原信号相同的调制特性;
步骤2:为了表征序列的位置信息,加入随网络自动训练的相对位置编码xpos,向量x1,x2,…,xi,…,xn,xpos分别乘以3个不同的权值矩阵得到qi=Wqxi,ki=Wkxi,vi=Wvxi;其中,qi表示查询矩阵;ki表示键矩阵;vi代表了信号的调制信息;
步骤3:计算y1,y2,..,yn,ypos;
其中,d是查询矩阵qi和键矩阵ki的维度;
步骤4:将一系列的qi、ki、vi分别被打包成矩阵Q,K,V;通过自注意力机制提取调制信息,过滤噪声干扰;
Q=[x1,x2,...,xi,...,xn,xpos]TWQ=XWQ
K=[x1,x2,...,xi,...,xn,xpos]TWK=XWK
V=[x1,x2,...,xi,...,xn,xpos]TWV=XWV
步骤5:考虑到各数据块可能的相似性关系,将数据块线性映射到不同子空间,即信号通过不同的降噪编码层,将输出拼接起来再线性降维到和嵌入数据块相同维度;
MHSA(Q,K,V)=Concat(head1,head2,...,headh)WO
其中,MHSA表示多头自注意力函数,headi=SA(QWi Q,KWi K,VWi V),表示不同的自注意力层输出,共设置h个自注意力层,且每层维度d'=d/h;线性降维矩阵将拼接起来的h层输出降到与输入同一维度;
步骤7:将多层降噪自编码块的输出信息线性整合,同时也加入残差链接;
Z=FNN(Y')+Y'
步骤8:通过平均来综合各数据块的调制信息;
步骤10:将整个去噪过程映射成如下函数表达式:
其中,m表示信号序列的采样点数;
步骤12:通过最小化损失函数得到最优参数;
步骤13:SDE通过训练集样本训练模型网络,再通过测试集选择最优结构参数,就得到可以对7种通信信号降噪的信号降噪自编码器;
步骤14:将接收到的信号输入信号降噪自编码器中,信号降噪自编码器输出即为降噪后的信号。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111423589.2A CN114169368A (zh) | 2021-11-26 | 2021-11-26 | 一种基于信号降噪自编码器sde的信号降噪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111423589.2A CN114169368A (zh) | 2021-11-26 | 2021-11-26 | 一种基于信号降噪自编码器sde的信号降噪方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114169368A true CN114169368A (zh) | 2022-03-11 |
Family
ID=80481150
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111423589.2A Pending CN114169368A (zh) | 2021-11-26 | 2021-11-26 | 一种基于信号降噪自编码器sde的信号降噪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114169368A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114630207A (zh) * | 2022-03-15 | 2022-06-14 | 浙江大学 | 基于降噪自编码器的多传感节点感知数据收集方法 |
CN114689700A (zh) * | 2022-04-14 | 2022-07-01 | 电子科技大学 | 一种基于栈式自编码器的低功率emat信号降噪方法 |
-
2021
- 2021-11-26 CN CN202111423589.2A patent/CN114169368A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114630207A (zh) * | 2022-03-15 | 2022-06-14 | 浙江大学 | 基于降噪自编码器的多传感节点感知数据收集方法 |
CN114689700A (zh) * | 2022-04-14 | 2022-07-01 | 电子科技大学 | 一种基于栈式自编码器的低功率emat信号降噪方法 |
CN114689700B (zh) * | 2022-04-14 | 2023-06-06 | 电子科技大学 | 一种基于栈式自编码器的低功率emat信号降噪方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112418014B (zh) | 基于小波变换和卷积长短期记忆神经网络的调制信号识别方法 | |
CN111564160B (zh) | 一种基于aewgan的语音降噪的方法 | |
CN114169368A (zh) | 一种基于信号降噪自编码器sde的信号降噪方法 | |
CN108398268B (zh) | 一种轴承性能退化评估方法 | |
CN111723701B (zh) | 一种水中目标识别方法 | |
Zhao et al. | Fault Diagnosis of Motor in Frequency Domain Signal by Stacked De-noising Auto-encoder. | |
CN112287784B (zh) | 一种基于深度卷积神经网络与特征融合的雷达信号分类方法 | |
CN112241724A (zh) | 一种基于双路卷积长短期神经网络的自动识别方法及系统 | |
CN111680785B (zh) | 基于稀疏特性与对抗神经网络相结合的ecg信号处理方法 | |
CN112910812B (zh) | 一种基于时空特征提取深度学习的调制模式识别方法 | |
CN114970774B (zh) | 一种智能变压器故障预测方法和装置 | |
CN111815806A (zh) | 一种基于野值剔除和特征提取的飞参数据预处理方法 | |
CN115602152B (zh) | 一种基于多阶段注意力网络的语音增强方法 | |
CN111982489B (zh) | 选择集成的改进局部特征分解的微弱故障特征提取方法 | |
CN115170943A (zh) | 一种基于迁移学习的改进视觉Transformer海底底质声呐图像分类方法 | |
CN117174105A (zh) | 一种基于改进型深度卷积网络的语音降噪与去混响方法 | |
CN112652326B (zh) | 基于伪彩色时频图像及卷积网络的环境声音识别方法 | |
CN108538301B (zh) | 一种基于神经网络音频技术的智能数码乐器 | |
CN113435276A (zh) | 一种基于对抗残差网络的水声目标识别方法 | |
CN116405100A (zh) | 一种基于先验知识的失真信号还原方法 | |
CN107085839A (zh) | 基于纹理增强与稀疏编码的sar图像降斑方法 | |
CN115421029A (zh) | 一种fcm-ga-pnn的模拟电路故障诊断方法 | |
CN115293210A (zh) | 一种基于脑电波的指令预测输出控制方法 | |
CN114415018A (zh) | 用于电机故障预警的自学习式光栅干涉频谱分析技术 | |
CN112414446B (zh) | 一种数据驱动的变速器传感器故障诊断方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |