CN109034127A - 一种频谱异常检测方法、装置和电子设备 - Google Patents
一种频谱异常检测方法、装置和电子设备 Download PDFInfo
- Publication number
- CN109034127A CN109034127A CN201811011051.9A CN201811011051A CN109034127A CN 109034127 A CN109034127 A CN 109034127A CN 201811011051 A CN201811011051 A CN 201811011051A CN 109034127 A CN109034127 A CN 109034127A
- Authority
- CN
- China
- Prior art keywords
- frequency spectrum
- training
- detected
- neural network
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Monitoring And Testing Of Transmission In General (AREA)
- Complex Calculations (AREA)
Abstract
本发明公开了一种频谱异常检测方法、装置和电子设备,方法包括:获取序列数据,从获取的序列数据中划分训练集和测试集;利用训练集中的输入样本训练改进型小波卷积神经网络,并利用测试集中的输入样本确定与误差分布相关的异常检测门限;获取待检测频谱数据,将待检测频谱数据输入到所述改进型小波卷积神经网络中得到预测结果并计算预测误差,根据计算出的预测误差与异常检测门限确定待检测频谱数据是否异常。本发明实施例的技术方案充分利用小波变换和卷积神经网络的优势,大大降低了计算复杂度,并克服频谱异常检测过程中噪声的干扰,提高检测准确性。
Description
技术领域
本发明涉及信号处理技术领域,具体涉及一种频谱异常检测方法、装置和电子设备。
背景技术
随着现代信息技术的快速发展,无线电频谱资源逐渐成为人类社会广泛使用重要资源。频谱异常检测是指根据目标频谱之前的正常运行状态判断当前频谱是否发生异常变化的过程,作为无线电频谱监测的重要方法,信号频谱异常检测技术的研究意义十分重大。
频谱异常检测技术主要采用模式识别方法。最传统的频谱异常检测方法是基于决策树的分类算法,该方法设计简单,但阈值设定的好坏对最终检测效果影响极大,且抗噪性能较差。支持向量机对于频谱异常检测具有比较好的效果,但是,核函数的选择直接影响着最终的检测结果,且算法不具有自适应能力。人工神经网络对于频谱异常检测具有较好的效果,自适应能力较强,但是在信噪比较低的条件下,异常检测效果不好,同时因为需要对描述对象的特征进行训练,计算复杂度较高,且基于以上总结,神经网络方法的泛化能力较弱,容易在最佳值的搜索过程中限于局部最小值,从而影响检测效果。
发明内容
本发明提供了一种频谱异常检测方法、装置和电子设备,取得了在低信噪比条件下,以较低计算复杂度,实现高效精确的频谱异常检测的有益效果。
根据本申请的一个方面,提供了一种频谱异常检测方法,包括:
获取序列数据,从获取的序列数据中划分训练集和测试集;
利用训练集中的输入样本训练改进型小波卷积神经网络,并利用测试集中的输入样本确定与误差分布相关的异常检测门限;
获取待检测频谱数据,将待检测频谱数据输入到所述改进型小波卷积神经网络中得到预测结果并计算预测误差;
根据计算出的预测误差与所述异常检测门限确定待检测频谱数据是否异常。
可选地,所述获取序列数据包括:获取模拟信号经过A/D采样并进行数字正交变换后的I路信号xI(n)和Q路信号xQ(n),计算信号幅度特征时间序列A(n),并进行归一化得到序列数据a(n)。
可选地,所述从获取的序列数据中划分训练集和测试集包括:从序列数据a(n)中取出a(k)...,a(k+N-1)作为第k个输入样本,取a(k+N)作为第k个输出结果进行标注,其中,1≤k≤n-N,n为序列数据a(n)的长度,N为样本长度;具体的,训练集从序列数据a(n)中的a(1)开始,通过长度为N的窗口,滑动幅度为1的滑窗进行取值,共取M1个输入样本记为{xk,k=1,2,...M1},样本长度为N;相应的输出结果记为{x'k,k=1,2,...M1},样本长度为1;测试集从序列数据a(n)中的a(M1+N)开始,通过相同的滑窗,取M2个输入样本记为{yk,k=1,2,...M2},其中样本长度为N,M2=n-M1-2*N;相应的输出结果记为{y'k,k=1,2,...M2},样本长度为1。
可选地,所述利用训练集中的输入样本训练改进型小波卷积神经网络包括:利用训练集中的输入样本{xk,k=1,2,...M1}以及相应的输出结果{x'k,k=1,2,...M1}训练改进型小波卷积神经网络;其中,改进型小波卷积神经网络包含K个基本层和两个全连接层,每个基本层包含:小波滤波器层、1*1卷积层和ReLu层;第一个全连接层为Softmax层连接所有的特征并通过Softmax分类器对输入值分类;第二个全连接层输出预测结果;利用训练集中的输入样本{xk,k=1,2,...M1}以及相应的输出结果{x'k,k=1,2,...M1}评估训练过程中改进型小波卷积神经网络的性能,当指示性能的准确率达到阈值时停止迭代更新,得到训练完成的改进型小波卷积神经网络。
可选地,所述利用测试集中的输入样本确定与误差分布相关的异常检测门限包括:将测试集中的输入样本{yk,k=1,2,...M2},输入训练完成的改进型卷积神经网络中,得到训练数据预测结果{yo k,k=1,2,...M2},计算预测误差wk={yo k-y'k,k=1,2,...,M2},利用高斯分布对预测误差分布进行估计,得到误差分布为N'(μ,δ);根据误差分布N'(μ,δ)以及预设虚警率来确定异常检测门限Γ1和Γ2,其中Γ1<Γ2。
可选地,所述获取待检测频谱数据,将待检测频谱数据输入到所述改进型小波卷积神经网络中得到预测结果并计算预测误差包括:获取待检测频谱的序列数据并进行预处理后得到归一化信号幅度特征时间序列b(m),m为待检测频谱的序列数据的长度;通过长度为N的窗口,滑动幅度为1的滑窗进行取值,共取W个信号段作为输入样本记为{zk,k=1,2,...W},相应的输出结果记为{z'k,k=1,2,...W};将待检测频谱数据到输入改进型小波卷积神经网络中得到预测结果{zo k,k=1,2,...W},并计算得到预测误差ek={zo k-z'k,k=1,2,...,W}。
可选地,根据计算出的预测误差与所述异常检测门限确定待检测频谱数据是否异常包括:当Γ1≤ek≤Γ2时,确定待检测频谱数据正常;当ek>Γ2∪ek<Γ1时,确定待检测频谱数据异常。
根据本申请的另一个方面,提供了一种频谱异常检测装置,包括:
样本获取单元,用于获取序列数据,从获取的序列数据中划分训练集和测试集;
训练单元,用于利用训练集中的输入样本训练改进型小波卷积神经网络,并利用测试集中的输入样本确定与预测误差分布相关的异常检测门限;
检测单元,用于获取待检测频谱数据,将待检测频谱数据输入到所述改进型小波卷积神经网络中得到预测结果并计算预测误差,根据计算出的预测误差与所述异常检测门限确定待检测频谱数据是否异常。
可选地,所述训练单元,具体用于利用训练集中的输入样本以及相应的输出结果训练改进型小波卷积神经网络;其中,改进型小波卷积神经网络包含K个基本层和两个全连接层,每个基本层包含:小波滤波器层、1*1卷积层和ReLu层;第一个全连接层为Softmax层连接所有的特征并通过Softmax分类器对输入值分类;第二个全连接层输出预测结果;
利用训练集中的输入样本以及相应的输出结果评估训练过程中改进型小波卷积神经网络的性能,当指示性能的准确率达到阈值时停止迭代更新,得到训练完成的改进型小波卷积神经网络。
根据本申请的再一个方面,提供了一种电子设备,所述电子设备包括:存储器和处理器,所述存储器和所述处理器之间通过内部总线通讯连接,所述存储器存储有能够被所述处理器执行的程序指令,所述程序指令被所述处理器执行时能够实现本申请一个方面所述的频谱异常检测方法。
有益效果:本发明实施例的这种频谱异常检测技术方案获取序列数据,从获取的序列数据中划分训练集和测试集,利用训练集中的输入样本训练改进型小波卷积神经网络,并利用测试集中的输入样本确定与误差分布相关的异常检测门限,将待检测数据输入训练完成的改进型小波卷积神经网络中,得到预测结果。由此,频谱异常检测基于训练完成的改进型小波卷积神经网络实现,在训练过程中利用预先构建的小波滤波器替代传统卷积神经网络中通过数据学习得到的滤波器,从而大大降低计算复杂度。同时克服了频谱异常检测过程中噪声的干扰,达到最佳频谱异常检测效果。
附图说明
图1是本发明一个实施例的频谱异常检测方法的流程示意图;
图2是本发明另一个实施例的频谱异常检测方法的流程示意图;
图3是本发明另一个实施例的获取序列数据的流程示意图;
图4是本发明一个实施例的改进型小波卷积神经网络的结构示意图;
图5是本发明一个实施例的频谱异常检测装置的框图;
图6是本发明一个实施例的电子设备的框图;
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的设计构思是:卷积神经网络是将人工神经网络和深度学习技术相结合而产生的新型人工神经网络,因其具备稀疏连接、权重共享和最大池采样等特性,克服了原先神经网络异常检测方法泛化能力弱,容易在最佳值的搜索过程限于局部最小值等缺点,同时,计算复杂度显著下降。但是,卷积神经网络中的滤波器通过大量的数据学习得到,计算复杂度仍较高。对此,本发明实施例的技术方案提出基于改进型小波卷积神经网络的频谱异常检测,将小波变换与卷积神经网络结合,取得在低信噪比条件下,以较低计算复杂度,实现高效精确的频谱异常检测的有益效果。
图1是本发明一个实施例的频谱异常检测方法的流程示意图,参见图1,本实施例的频谱异常检测方法包括下列步骤:
步骤S101,获取序列数据,从获取的序列数据中划分训练集和测试集;
步骤S102,利用训练集中的输入样本训练改进型小波卷积神经网络,并利用测试集中的输入样本确定与误差分布相关的异常检测门限;
步骤S103,获取待检测频谱数据,将待检测频谱数据输入到所述改进型小波卷积神经网络中得到预测结果并计算预测误差,根据计算出的预测误差与所述异常检测门限确定待检测频谱数据是否异常。
由图1所示可知,本实施例的频谱异常检测方法将小波变换与卷积神经网络结合,训练得到改进型小波卷积神经网络,将待检测频谱输入该改进型小波卷积神经网络中,得到检测结果,从而充分利用小波变换和卷神经网络的优势,保留了卷积神经网络结构的同时,通过预先构建的小波滤波器替代传统卷积神经网络中通过数据学习得到的滤波器,大大降低了计算复杂度。而且通过级联小波(神经网络包含多层网络,每层网络之间的小波滤波和卷积处理呈级联关系),克服了频谱异常检测过程中噪声的干扰,提高频谱异常检测的准确性。
图2是本发明另一个实施例的频谱异常检测方法的流程示意图,下面结合图2对本实施例的频谱异常检测方法的实现步骤进行重点说明。
步骤一,获取序列数据。
获取序列数据包括:获取模拟信号经过A/D采样并进行数字正交变换后的I路信号xI(n)和Q路信号xQ(n),计算信号幅度特征时间序列A(n),并进行归一化得到序列数据a(n)。
参见图3,本实施例中,采用超外差中频数字化的接收机制,模拟信号经过A/D转换器采样后,进行数字正交变换(图3中示意的数字正交化),获得I路信号xI(n)和Q路信号xQ(n),接着计算信号幅度特征时间序列A(n),并对时间序列A(n)进行归一化得到数据a(n)。
时间序列A(n)的计算公式为归一化预处理其中n为正整数,n≥1。
步骤二,划分训练数据集合测试数据集。
对输入频谱样本数据计算幅度特征,并划分出两个数据集:训练数据集合测试数据集。从获取的序列数据中划分训练集和测试集包括:从序列数据a(n)中取出a(k)...,a(k+N-1)作为第k个输入样本,取a(k+N)作为第k个输出结果进行标注,其中,1≤k≤n-N,n为序列数据a(n)的长度,N为样本长度;具体的,训练集从序列数据a(n)中的a(1)开始,通过长度为N的窗口,滑动幅度为1的滑窗进行取值,共取M1个输入样本记为{xk,k=1,2,...M1},样本长度为N;相应的输出结果记为{x'k,k=1,2,...M1},样本长度为1;测试集从序列数据a(n)中的a(M1+N)开始,通过相同的滑窗,取M2个输入样本记为{yk,k=1,2,...M2},其中样本长度为N,M2=n-M1-2*N;相应的输出结果记为{y'k,k=1,2,...M2},样本长度为1。
本实施例中,针对前述步骤一中获取的信号幅度特征时间序列数据,将a(k)...,a(k+N-1)作为第k个输入样本,取a(k+N)作为第k个输出结果进行标注,其中,1≤k≤n-N。即,将前K+N-1个特征数据作为输入样本,将第K+N个特征数据标注为输出结果。举例来说,n等于1000,N等于100,K的初始值为1,训练集输入样本的选取为:选第1到第100个特征数据(共100个数据)作为第一个输入样本,选第101个数据作为输出结果(共1个数据),选取第2到第101个特征数据作为第2个输入样本,选第102个数据作为输出结果并进行相应的标注,以此类推,直至样本数量等于M1。
这里设定样本数据长度为N,训练集从序列数据a(n)中的a(1)开始进行滑窗操作,按间隔P(本实施例中P的取值为1)滑动选取长度为N的各信号段,共取M1个信号段作为输入样本,记为{xk,k=1,2,...M1},并标注相应的输出结果,记为{x'k,k=1,2,...M1},输出结果的长度为1。
测试集从序列数据a(n)中的a(M1+N)开始,通过相同的滑窗操作,取M2个输入样本(M2=n-M1-2*N),记为{yk,k=1,2,...M2},样本长度为N,并标注相应的输出结果,记为{y'k,k=1,2,...M2},结果长度为1。
在划分出训练集和测试集之后,本实施例中利用训练集进行模型训练。
步骤三,训练改进型小波卷积神经网络。
参见图2,训练数据集用于预测模型训练,得到预测模型。这里的利用训练集中的输入样本训练改进型小波卷积神经网络,包括:利用训练集中的输入样本{xk,k=1,2,...M1}以及相应的输出结果{x'k,k=1,2,...M1}训练改进型小波卷积神经网络;其中,改进型小波卷积神经网络包含K个基本层和两个全连接层,每个基本层包含:小波滤波器层、1*1卷积层和ReLu层(ReLu表示线性修正单元);第一个全连接层为Softmax层连接所有的特征并通过Softmax分类器对输入值分类;第二个全连接层输出预测结果。
利用训练集中的输入样本{xk,k=1,2,...M1}以及相应的输出结果{x'k,k=1,2,...M1}评估训练过程中改进型小波卷积神经网络的性能,当指示性能的准确率达到阈值时停止迭代更新,得到训练完成的改进型小波卷积神经网络,如图4所示。
也就是说,利用训练集中的输入样本:{xk,k=1,2,...M1},以及标注的输出结果:{x'k,k=1,2,...M1}训练改进型小波卷积神经网络。其中改进型小波卷积神经网络包含K个基本层和两个全连接层,每个基本层包含小波滤波器层、1*1卷积层、ReLu层,其中,小波滤波器层提供小波系数进行滤波、提取特征;1*1卷积层提供控制小波滤波器的权值;ReLu层提供系数进行非线性变换;第一个全连接层为Softmax层,即连接所有的特征,并将输入值通过Softmax分类器进行分类;第二个全连接层输出预测结果。
根据小波散射特征理论,在特征能量传递过程中,只有部分阶层具有能量值,其他的可以忽略不计,并且随着阶数的增加,散射的能量将迅速递减到0,前两阶的散射系数包含了超过98%的能量。因此,本实施例中基本层的层数K取2或3。也就是说,参见图4,当K等于2时,改进型小波卷积神经网络包含的基本层数为2,即,第一层网络和第二层网络。改进型小波卷积神经网络包含的全连接层也为2层。当K等于3时,图4所示的改进型小波卷积神经网络包含的基本网络层数为3层,即,第一层网络、第二层网络和第三层网络。
利用训练集中的输入样本{xk,k=1,2,...M1},以及标注的输出结果{x'k,k=1,2,...M1},评估训练过程中改进型小波卷积神经网络的性能。具体的,根据训练过程中的均方根误差调整学习率,改进型小波卷积神经网络的学习率影响均方根误差,学习率不同,均方根误差也不同。均方根误差与模型的准确率密切相关,评估训练过程中改进型小波卷积神经网络的性能,也就是将指示性能的准确率与一个阈值(或称准确率阈值)比较并作为训练算法结束的依据。当准确率达到一定阈值时,算法训练停止迭代更新,得到最终改进型小波卷积神经网络WCNN(Wavelet Convolutional Neural Network,简称WCNN)。
步骤四、计算测试数据的误差分布估计,确定检测门限。
利用测试集中的输入样本确定与误差分布相关的异常检测门限包括:将测试集中的输入样本{yk,k=1,2,...M2},输入训练完成的改进型卷积神经网络中,得到训练数据预测结果{yo k,k=1,2,...M2},计算预测误差wk={yo k-y'k,k=1,2,...,M2},利用高斯分布对预测误差分布进行估计,得到误差分布为N'(μ,δ);
根据误差分布N'(μ,δ)以及预设虚警率来确定异常检测门限Γ1和Γ2,其中Γ1<Γ2。具体的,Γ1=μ-x*δ,Γ2=μ+x*δ,这里的x取值由虚警率决定。
也就是说,本实施例中将测试数据集中的输入样本:{yk,k=1,2,...M2},输入步骤三得到的改进型卷积神经网络WCNN中,得到训练数据预测结果{yo k,k=1,2,...M2},并计算预测误差wk={yo k-y'k,k=1,2,...,M2},利用高斯分布对预测误差分布进行估计,得到误差分布为N'(μ,δ),得到误差分布之后,根据误差分布以及虚警率(虚警率,比如设定为0.5%以下)设定检测门限Γ1和Γ2,其中Γ1<Γ2。
步骤五、输入待检测频谱数据并获取检测结果。
本实施例中,获取待检测频谱数据,将待检测频谱数据输入到步骤三中训练完成的改进型小波卷积神经网络中得到预测结果并计算预测误差,具体包括:获取待检测频谱的序列数据并进行预处理后得到归一化信号幅度特征时间序列b(m),m为待检测频谱的序列数据的长度;通过长度为N的窗口,滑动幅度为1的滑窗进行取值,共取W个信号段作为输入样本记为{zk,k=1,2,...W},相应的输出结果记为{z'k,k=1,2,...W};将待检测频谱数据到输入改进型小波卷积神经网络中得到预测结果{zo k,k=1,2,...W},并计算得到预测误差ek={zo k-z'k,k=1,2,...,W}。
根据计算出的预测误差与异常检测门限确定待检测频谱数据是否异常:当Γ1≤ek≤Γ2时,确定待检测频谱数据正常;当ek>Γ2∪ek<Γ1时,确定待检测频谱数据异常。
本实施例中是将长度为m的待检测频谱时间序列数据,通过步骤一进行预处理,得到归一化信号幅度特征时间序列b(m);通过步骤二的滑窗操作,共取W个信号段作为输入样本,记为{zk,k=1,2,...W},并标注相应的输出结果,记为{z'k,k=1,2,...W};参见图2,输入步骤三得到的改进型小波卷积神经网络WCNN中(图2中示意的预测模型),得到待检测频谱数据预测结果{zo k,k=1,2,...W},计算预测误差ek={zo k-z'k,k=1,2,...,W}。根据步骤四中确定的检测门限以及计算出的预测误差得到指示待检测频谱是否异常的检测结果。本实施例中,当预测误差Γ1≤ek≤Γ2时,判断该数据为正常,当预测误差ek>Γ2∪ek<Γ1时,判断该数据为异常。即,当预测误差ek大于检测门限Γ2并且小于检测门限Γ1时,确定待检测的频谱数据存在异常。
至此,本实施例的频谱异常检测方法,将小波变换与卷积神经网络结合,通过预先构建的小波滤波器替代卷积神经网络中通过数据学习得到的滤波器,将频谱数据样本集划分为训练集和测试集,然后将训练集中的数据输入改进型小波神经网络进行训练得到预测网络,利用测试集中的数据输入预测网络得到预测结果并计算误差分布估计,根据虚警率设定检测门限。再将待检测数据输入预测网络得到测试结果,并计算测试误差,与检测门限比较,得到检测结果。本发明提供的技术方案,充分利用小波变换和卷神经网络的优势,保留了卷积神经网络结构的同时,通过预先构建的小波滤波器替代卷积神经网络中通过数据学习得到的滤波器,从而大大降低计算复杂度;通过级联小波,能够克服频谱异常检测过程中噪声的干扰;1*1卷积层的加入,可通过网络学习,确定权值,从而实现网络中不同小波滤波器比重按需分配,达到最佳频谱异常检测效果。
与上述频谱异常检测方法属于同一个技术构思,本发明实施例还提供了一种频谱异常检测装置,该频谱异常检测装置500包括:
样本获取单元501,用于获取序列数据,从获取的序列数据中划分训练集和测试集;
训练单元502,用于利用训练集中的输入样本训练改进型小波卷积神经网络,并利用测试集中的输入样本确定与预测误差分布相关的异常检测门限;
检测单元503,用于获取待检测频谱数据,将待检测频谱数据输入到所述改进型小波卷积神经网络中得到预测结果并计算预测误差,根据计算出的预测误差与所述异常检测门限确定待检测频谱数据是否异常。
在本发明的一个实施例中,训练单元502具体用于利用训练集中的输入样本以及相应的输出结果训练改进型小波卷积神经网络;其中,改进型小波卷积神经网络包含K个基本层和两个全连接层,每个基本层包含:小波滤波器层、1*1卷积层和ReLu层;第一个全连接层为Softmax层连接所有的特征并通过Softmax分类器对输入值分类;第二个全连接层输出预测结果;
利用训练集中的输入样本以及相应的输出结果评估训练过程中改进型小波卷积神经网络的性能,当指示性能的准确率达到阈值时停止迭代更新,得到训练完成的改进型小波卷积神经网络。
在本发明的一个实施例中,样本获取单元501具体用于获取模拟信号经过A/D采样并进行数字正交变换后的I路信号xI(n)和Q路信号xQ(n),计算信号幅度特征时间序列A(n),并进行归一化得到序列数据a(n)。
在本发明的一个实施例中,样本获取单元501具体用于从序列数据a(n)中取出a(k)...,a(k+N-1)作为第k个输入样本,取a(k+N)作为第k个输出结果进行标注,其中,1≤k≤n-N,n为序列数据a(n)的长度,N为样本长度;
具体的,训练集从序列数据a(n)中的a(1)开始,通过长度为N的窗口,滑动幅度为1的滑窗进行取值,共取M1个输入样本记为{xk,k=1,2,...M1},样本长度为N;相应的输出结果记为{x'k,k=1,2,...M1},样本长度为1;测试集从序列数据a(n)中的a(M1+N)开始,通过相同的滑窗,取M2个输入样本记为{yk,k=1,2,...M2},其中样本长度为N,M2=n-M1-2*N;相应的输出结果记为{y'k,k=1,2,...M2},样本长度为1。
在本发明的一个实施例中,训练单元502具体用于将测试集中的输入样本{yk,k=1,2,...M2},输入训练完成的改进型卷积神经网络中,得到训练数据预测结果{yo k,k=1,2,...M2},计算预测误差wk={yo k-y'k,k=1,2,...,M2},利用高斯分布对预测误差分布进行估计,得到误差分布为N'(μ,δ);根据误差分布N'(μ,δ)以及预设虚警率来确定异常检测门限Γ1和Γ2,其中Γ1<Γ2。
在本发明的一个实施例中,检测单元503,具体用于获取待检测频谱的序列数据并进行预处理后得到归一化信号幅度特征时间序列b(m),m为待检测频谱的序列数据的长度;通过长度为N的窗口,滑动幅度为1的滑窗进行取值,共取W个信号段作为输入样本记为{zk,k=1,2,...W},相应的输出结果记为{z'k,k=1,2,...W};将待检测频谱数据到输入改进型小波卷积神经网络中得到预测结果{zo k,k=1,2,...W},并计算得到预测误差ek={zo k-z'k,k=1,2,...,W}。
在本发明的一个实施例中,检测单元503,具体用于当Γ1≤ek≤Γ2时,确定待检测频谱数据正常;当ek>Γ2∪ek<Γ1时,确定待检测频谱数据异常。
关于图5所示频谱异常检测装置500中的各单元所执行的各步骤的举例解释说明,与前述方法实施例中的举例解释说明一致,这里不再一一赘述。
图6为本发明一个实施例的电子设备的结构示意图。如图6所示,该电子设备包括存储器601和处理器602,存储器601和处理器602之间通过内部的总线603通讯连接,存储器601存储有能够被处理器602执行的程序指令,程序指令被处理器602执行时能够实现上述的频谱异常检测方法。
此外,上述的存储器601中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明的另一个实施例提供一种计算机可读存储介质,计算机可读存储介质存储计算机指令,计算机指令使所述计算机执行上述的方法。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图的一个流程或多个流程和/或方框图的一个方框或多个方框中指定的功能的装置。
需要说明的是术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明的说明书中,说明了大量具体细节。然而能够理解的是,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。类似地,应当理解,为了精简本发明公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释呈反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
以上所述,仅为本发明的具体实施方式,在本发明的上述教导下,本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白,上述的具体描述只是更好的解释本发明的目的,本发明的保护范围以权利要求的保护范围为准。
Claims (10)
1.一种频谱异常检测方法,其特征在于,包括:
获取序列数据,从获取的序列数据中划分训练集和测试集;
利用训练集中的输入样本训练改进型小波卷积神经网络,并利用测试集中的输入样本确定与误差分布相关的异常检测门限;
获取待检测频谱数据,将待检测频谱数据输入到所述改进型小波卷积神经网络中得到预测结果并计算预测误差,根据计算出的预测误差与所述异常检测门限确定待检测频谱数据是否异常。
2.根据权利要求1所述的方法,其特征在于,所述获取序列数据包括:
获取模拟信号经A/D采样并进行数字正交变换后的I路信号xI(n)和Q路信号xQ(n),计算信号幅度特征时间序列A(n),并进行归一化得到序列数据a(n)。
3.根据权利要求2所述的方法,其特征在于,所述从获取的序列数据中划分训练集和测试集包括:
从序列数据a(n)中取出a(k)...,a(k+N-1)作为第k个输入样本,取a(k+N)作为第k个输出结果进行标注,其中,1≤k≤n-N,n为序列数据a(n)的长度,N为样本长度;
具体的,训练集从序列数据a(n)中的a(1)开始,通过长度为N的窗口,滑动幅度为1的滑窗进行取值,共取M1个输入样本记为{xk,k=1,2,...M1},样本长度为N;相应的输出结果记为{x'k,k=1,2,...M1},样本长度为1;
测试集从序列数据a(n)中的a(M1+N)开始,通过相同的滑窗,取M2个输入样本记为{yk,k=1,2,...M2},其中样本长度为N,M2=n-M1-2*N;相应的输出结果记为{y'k,k=1,2,...M2},样本长度为1。
4.根据权利要求3所述的方法,其特征在于,所述利用训练集中的输入样本训练改进型小波卷积神经网络包括:
利用训练集中的输入样本{xk,k=1,2,...M1}以及相应的输出结果{x'k,k=1,2,...M1}训练改进型小波卷积神经网络;其中,改进型小波卷积神经网络包含K个基本层和两个全连接层,每个基本层包含:小波滤波器层、1*1卷积层和ReLu层;第一个全连接层为Softmax层连接所有的特征并通过Softmax分类器对输入值分类;第二个全连接层输出预测结果;
利用训练集中的输入样本{xk,k=1,2,...M1}以及相应的输出结果{x'k,k=1,2,...M1}评估训练过程中改进型小波卷积神经网络的性能,当指示性能的准确率达到阈值时停止迭代更新,得到训练完成的改进型小波卷积神经网络。
5.根据权利要求4所述的方法,其特征在于,所述利用测试集中的输入样本确定与误差分布相关的异常检测门限包括:
将测试集中的输入样本{yk,k=1,2,...M2},输入训练完成的改进型卷积神经网络中,得到训练数据预测结果{yo k,k=1,2,...M2},计算预测误差wk={yo k-y'k,k=1,2,...,M2},利用高斯分布对预测误差分布进行估计,得到误差分布为N'(μ,δ);
根据误差分布N'(μ,δ)以及预设虚警率来确定异常检测门限Γ1和Γ2,其中Γ1<Γ2。
6.根据权利要求5所述的方法,其特征在于,所述获取待检测频谱数据,将待检测频谱数据输入到所述改进型小波卷积神经网络中得到预测结果并计算预测误差包括:
获取待检测频谱的序列数据并进行预处理后得到归一化信号幅度特征时间序列b(m),m为待检测频谱的序列数据的长度;
通过长度为N的窗口,滑动幅度为1的滑窗进行取值,共取W个信号段作为输入样本记为{zk,k=1,2,...W},相应的输出结果记为{z'k,k=1,2,...W};
将待检测频谱数据输入到改进型小波卷积神经网络中得到预测结果{zo k,k=1,2,...W},并计算得到预测误差ek={zo k-z'k,k=1,2,...,W}。
7.根据权利要求6所述的方法,其特征在于,根据计算出的预测误差与所述异常检测门限确定待检测频谱数据是否异常包括:
当Γ1≤ek≤Γ2时,确定待检测频谱数据正常;
当ek>Γ2∪ek<Γ1时,确定待检测频谱数据异常。
8.一种频谱异常检测装置,其特征在于,包括:
样本获取单元,用于获取序列数据,从获取的序列数据中划分训练集和测试集;
训练单元,用于利用训练集中的输入样本训练改进型小波卷积神经网络,并利用测试集中的输入样本确定与预测误差分布相关的异常检测门限;
检测单元,用于获取待检测频谱数据,将待检测频谱数据输入到所述改进型小波卷积神经网络中得到预测结果并计算预测误差,根据计算出的预测误差与所述异常检测门限确定待检测频谱数据是否异常。
9.根据权利要求8所述的装置,其特征在于,所述训练单元,具体用于利用训练集中的输入样本以及相应的输出结果训练改进型小波卷积神经网络;其中,改进型小波卷积神经网络包含K个基本层和两个全连接层,每个基本层包含:小波滤波器层、1*1卷积层和ReLu层;第一个全连接层为Softmax层连接所有的特征并通过Softmax分类器对输入值分类;第二个全连接层输出预测结果;
利用训练集中的输入样本以及相应的输出结果评估训练过程中改进型小波卷积神经网络的性能,当指示性能的准确率达到阈值时停止迭代更新,得到训练完成的改进型小波卷积神经网络。
10.一种电子设备,其特征在于,所述电子设备包括:存储器和处理器,所述存储器和所述处理器之间通过内部总线通讯连接,所述存储器存储有能够被所述处理器执行的程序指令,所述程序指令被所述处理器执行时能够实现权利要求1-7任一项所述的频谱异常检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811011051.9A CN109034127B (zh) | 2018-08-31 | 2018-08-31 | 一种频谱异常检测方法、装置和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811011051.9A CN109034127B (zh) | 2018-08-31 | 2018-08-31 | 一种频谱异常检测方法、装置和电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109034127A true CN109034127A (zh) | 2018-12-18 |
CN109034127B CN109034127B (zh) | 2022-04-05 |
Family
ID=64623080
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811011051.9A Active CN109034127B (zh) | 2018-08-31 | 2018-08-31 | 一种频谱异常检测方法、装置和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109034127B (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109948452A (zh) * | 2019-02-22 | 2019-06-28 | 中国电子科技集团公司第三十六研究所 | 一种时序信号预测方法和装置 |
CN110146855A (zh) * | 2019-06-11 | 2019-08-20 | 北京无线电测量研究所 | 雷达间断干扰抑制门限计算方法及装置 |
CN111222442A (zh) * | 2019-12-31 | 2020-06-02 | 中国电子科技集团公司第三十六研究所 | 一种电磁信号分类方法和装置 |
CN111693774A (zh) * | 2020-05-06 | 2020-09-22 | 南方电网科学研究院有限责任公司 | 一种输电网的谐波测量方法和装置 |
CN111967512A (zh) * | 2020-08-07 | 2020-11-20 | 国网江苏省电力有限公司电力科学研究院 | 一种异常用电检测方法、系统和存储介质 |
CN111970050A (zh) * | 2020-07-14 | 2020-11-20 | 电子科技大学 | 一种基于异常检测的联合监测调制格式和光信噪比的系统 |
CN112149757A (zh) * | 2020-10-23 | 2020-12-29 | 新华三大数据技术有限公司 | 一种异常检测方法、装置、电子设备及存储介质 |
CN113280265A (zh) * | 2020-02-20 | 2021-08-20 | 中国石油天然气股份有限公司 | 工况识别方法、装置、计算机设备以及存储介质 |
WO2021169361A1 (zh) * | 2020-09-18 | 2021-09-02 | 平安科技(深圳)有限公司 | 时间序列数据的检测方法、装置、计算机设备及存储介质 |
CN113708863A (zh) * | 2021-09-10 | 2021-11-26 | 中国人民解放军63891部队 | 频谱感知训练数据集的构建方法及装置 |
CN114205821A (zh) * | 2021-11-30 | 2022-03-18 | 广州万城万充新能源科技有限公司 | 基于深度预测编码神经网络的无线射频异常检测方法 |
CN115856425A (zh) * | 2022-11-21 | 2023-03-28 | 中国人民解放军32802部队 | 一种基于隐空间概率预测的频谱异常检测方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106248801A (zh) * | 2016-09-06 | 2016-12-21 | 哈尔滨工业大学 | 一种基于多声发射事件概率的钢轨裂纹检测方法 |
CN108182950A (zh) * | 2017-12-28 | 2018-06-19 | 重庆大学 | 改进的经验小波变换的公共场所异常声音特征分解与提取方法 |
CN108426713A (zh) * | 2018-02-26 | 2018-08-21 | 成都昊铭科技有限公司 | 基于小波变换和深度学习的滚动轴承微弱故障诊断方法 |
CN111122160A (zh) * | 2019-09-25 | 2020-05-08 | 江苏省水文水资源勘测局 | 一种基于堆栈降噪自编码器的异常信号检测方法 |
-
2018
- 2018-08-31 CN CN201811011051.9A patent/CN109034127B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106248801A (zh) * | 2016-09-06 | 2016-12-21 | 哈尔滨工业大学 | 一种基于多声发射事件概率的钢轨裂纹检测方法 |
CN108182950A (zh) * | 2017-12-28 | 2018-06-19 | 重庆大学 | 改进的经验小波变换的公共场所异常声音特征分解与提取方法 |
CN108426713A (zh) * | 2018-02-26 | 2018-08-21 | 成都昊铭科技有限公司 | 基于小波变换和深度学习的滚动轴承微弱故障诊断方法 |
CN111122160A (zh) * | 2019-09-25 | 2020-05-08 | 江苏省水文水资源勘测局 | 一种基于堆栈降噪自编码器的异常信号检测方法 |
Non-Patent Citations (1)
Title |
---|
郑仕链: "基于多子带信号采样和小波变换的宽带频谱感知", 《计算机应用研究》 * |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109948452A (zh) * | 2019-02-22 | 2019-06-28 | 中国电子科技集团公司第三十六研究所 | 一种时序信号预测方法和装置 |
CN110146855A (zh) * | 2019-06-11 | 2019-08-20 | 北京无线电测量研究所 | 雷达间断干扰抑制门限计算方法及装置 |
CN110146855B (zh) * | 2019-06-11 | 2020-10-23 | 北京无线电测量研究所 | 雷达间断干扰抑制门限计算方法及装置 |
CN111222442A (zh) * | 2019-12-31 | 2020-06-02 | 中国电子科技集团公司第三十六研究所 | 一种电磁信号分类方法和装置 |
CN113280265B (zh) * | 2020-02-20 | 2022-08-05 | 中国石油天然气股份有限公司 | 工况识别方法、装置、计算机设备以及存储介质 |
CN113280265A (zh) * | 2020-02-20 | 2021-08-20 | 中国石油天然气股份有限公司 | 工况识别方法、装置、计算机设备以及存储介质 |
CN111693774A (zh) * | 2020-05-06 | 2020-09-22 | 南方电网科学研究院有限责任公司 | 一种输电网的谐波测量方法和装置 |
CN111970050A (zh) * | 2020-07-14 | 2020-11-20 | 电子科技大学 | 一种基于异常检测的联合监测调制格式和光信噪比的系统 |
CN111970050B (zh) * | 2020-07-14 | 2022-03-15 | 电子科技大学 | 一种基于异常检测的联合监测调制格式和光信噪比的系统 |
CN111967512A (zh) * | 2020-08-07 | 2020-11-20 | 国网江苏省电力有限公司电力科学研究院 | 一种异常用电检测方法、系统和存储介质 |
CN111967512B (zh) * | 2020-08-07 | 2022-08-19 | 国网江苏省电力有限公司电力科学研究院 | 一种异常用电检测方法、系统和存储介质 |
WO2021169361A1 (zh) * | 2020-09-18 | 2021-09-02 | 平安科技(深圳)有限公司 | 时间序列数据的检测方法、装置、计算机设备及存储介质 |
CN112149757B (zh) * | 2020-10-23 | 2022-08-19 | 新华三大数据技术有限公司 | 一种异常检测方法、装置、电子设备及存储介质 |
CN112149757A (zh) * | 2020-10-23 | 2020-12-29 | 新华三大数据技术有限公司 | 一种异常检测方法、装置、电子设备及存储介质 |
CN113708863A (zh) * | 2021-09-10 | 2021-11-26 | 中国人民解放军63891部队 | 频谱感知训练数据集的构建方法及装置 |
CN113708863B (zh) * | 2021-09-10 | 2023-08-01 | 中国人民解放军63891部队 | 频谱感知训练数据集的构建方法及装置 |
CN114205821A (zh) * | 2021-11-30 | 2022-03-18 | 广州万城万充新能源科技有限公司 | 基于深度预测编码神经网络的无线射频异常检测方法 |
CN114205821B (zh) * | 2021-11-30 | 2023-08-08 | 广州万城万充新能源科技有限公司 | 基于深度预测编码神经网络的无线射频异常检测方法 |
CN115856425A (zh) * | 2022-11-21 | 2023-03-28 | 中国人民解放军32802部队 | 一种基于隐空间概率预测的频谱异常检测方法及装置 |
CN115856425B (zh) * | 2022-11-21 | 2023-10-17 | 中国人民解放军32802部队 | 一种基于隐空间概率预测的频谱异常检测方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109034127B (zh) | 2022-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109034127A (zh) | 一种频谱异常检测方法、装置和电子设备 | |
Liu et al. | Subspace network with shared representation learning for intelligent fault diagnosis of machine under speed transient conditions with few samples | |
CN111914883B (zh) | 一种基于深度融合网络的主轴轴承状态评估方法及装置 | |
Xia et al. | Multi-stage fault diagnosis framework for rolling bearing based on OHF Elman AdaBoost-Bagging algorithm | |
CN106874957A (zh) | 一种滚动轴承故障诊断方法 | |
CN206504869U (zh) | 一种滚动轴承故障诊断装置 | |
CN105572572B (zh) | 基于wknn-lssvm的模拟电路故障诊断方法 | |
Li et al. | IncepTCN: A new deep temporal convolutional network combined with dictionary learning for strong cultural noise elimination of controlled-source electromagnetic data | |
You et al. | An efficient lightweight neural network using BiLSTM-SCN-CBAM with PCA-ICEEMDAN for diagnosing rolling bearing faults | |
CN102855634A (zh) | 一种图像检测方法及装置 | |
CN109948452A (zh) | 一种时序信号预测方法和装置 | |
CN105241665A (zh) | 一种基于IRBFNN-AdaBoost分类器的滚动轴承故障诊断方法 | |
CN117471227A (zh) | 汽车线束参数性能测试方法及测试系统 | |
CN105979485A (zh) | 基于信道状态信息的室内环境下人员检测方法 | |
Qian et al. | A new health indicator for rolling bearings based on impulsiveness and periodicity of signals | |
Zhao et al. | Unbalanced fault diagnosis of rolling bearings using transfer adaptive boosting with squeeze-and-excitation attention convolutional neural network | |
CN108562853A (zh) | 基于纠错输出编码支持向量机的电机故障诊断方法和系统 | |
Ma et al. | An intelligent classification framework for complex PQDs using optimized KS-transform and multiple fusion CNN | |
Li et al. | Data augmentation via variational mode reconstruction and its application in few-shot fault diagnosis of rolling bearings | |
CN110458071A (zh) | 一种基于dwt-dfpa-gbdt的光纤振动信号特征提取与分类方法 | |
Zhang et al. | Weighted dynamic transfer network and spectral entropy for weak nonlinear time series detection | |
CN110222386A (zh) | 一种行星齿轮退化状态识别方法 | |
Xu et al. | Rolling bearing fault diagnosis under time-varying speeds based on time-characteristic order spectrum and multi-scale domain adaptation network | |
CN109580145A (zh) | 基于深度学习的智能制造设备故障的诊断方法及装置 | |
Li et al. | The data learning and anomaly detection based on the rudder system testing facility |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |