CN113572539B - 存储增强的无监督频谱异常检测方法、系统、设备、介质 - Google Patents

Abstract

本发明属于异常检测技术领域，公开了一种存储增强的无监督频谱异常检测方法、系统、设备、介质，存储增强的无监督频谱异常检测方法包括：通过编码器对内存和更新进行编码输入和生成查询；进行信号分类并引入存储模块通过一定的策略对编码器提取的特征进行存储；通过解码器，用于对输入的数据与来自内存的查询结果进行重构；基于查询结果、重构结果以及分类结果进行频谱异常检测。本在自动编码器中引入了存储模块，根据一定策略，可以对自动编码器中编码器提取的特征进行存取操作，并由解码器进行重构。本发明所提出的异常检测方法，有效减小了自动编码器中神经网络泛化性所带来的误差，从而大幅提升了无监督异常频谱检测的正确率。

Description

存储增强的无监督频谱异常检测方法、系统、设备、介质

技术领域

本发明属于异常检测技术领域，尤其涉及一种存储增强的无监督频谱异常检测方法、系统、设备、介质。

背景技术

目前：电磁频谱干扰的检测是昂贵且困难的过程，其中的异常可能出现在网络中的任何一个位置，并且对于他们的检测需要大规模的实时分布式检测系统。因此，自动化工具也被广泛用于电磁频谱异常的检测之中，但由于电磁频谱的复杂性和广泛的异常形式，人工标记异常是困难的，并且使用有监督方法只能处理有限数量、有限位置和有限时间段的异常。而无监督的频谱异常检测方法其使用及部署的难度相对较小。

在无监督频谱异常检测领域内，已设计了各种基于自动编码器的方案，这是一种无监督的神经网络模型，主要由两部分组成：编码器和解码器。编码器和解码器通常是两个结构对称的神经网络，其中编码器可以提取输入数据的特征，提取的结果一般称作潜变量，随后解码器对潜变量进行重构，重构的结果近似等于输入的数据。将解码器重构的结果与原始输入对比，计算其L2范数，得到的值称作重构损失。训练自动编码器的过程即最小化重构损失，从而优化编码器特征提取和解码器重构的效果，使得重构的图片与原始输入尽可能相似。通常来说，自动编码器重构的结果会尽可能接近其学习的结果，因此对于从未学习过的图片，其重构误差较大。利用自动编码器进行无监督异常检测时，在训练阶段通常只使其学习正常的信号，因此当进行检测的时候，自动编码器处理正常信号得到的重构误差较小，而处理异常信号的时候，会将其重构成相对应的正常的信号，即消除了异常信号，因此其重构损失相对较大，通过对重构损失的数值检测，即可进行异常信号的检测，并可以在检测之后，将重构后的图片与原始图片相减做差，从而定位到异常信号出现的位置。

但实际情况中，为了获取更好的特征提取及重构效果，编码器和解码器通常选择卷积神经网络结构，但由于卷积神经网络的强大的学习能力和泛化性，有时会导致在异常信号的重构过程中，会使其重构的结果接近该异常输入而非其对应的正常信号，因此重构误差较小，从而导致检测失败。

通过上述分析，现有技术存在的问题及缺陷为：现有的异常检测误差大，重构失败严重，检测失败率高，进而导致异常定位不准确。

解决以上问题及缺陷的难度为：作为当前最热门的神经网络模型之一，卷积神经网络强大的学习能力可以使得使用者有效的从数据中获取所需的内容，因此对于上述无监督异常检测中，使用了卷积神经网络结构的自动编码器在正常信号上提取特征和重构时的表现会普遍更加优秀，但也正是由于这种强大学习能力带来的泛化性，却在部分异常信号的处理上产生了负面影响，因此在保留卷积算子强大学习能力的同时减弱其本身特性带来的副作用是具有难度的。

解决以上问题及缺陷的意义为：本发明提出的存储增强的无监督异常检测方法则有效解决了上述技术问题，使得在不影响正常信号重构效果的同时，避免了异常信号被重构的现象，提升了检测成功率，并使得后续的异常信号的定位更加精准。

发明内容

针对现有技术存在的问题，本发明提供了一种存储增强的无监督频谱异常检测方法、系统、设备、介质。

本发明是这样实现的，一种存储增强的无监督频谱异常检测方法，所述存储增强的无监督频谱异常检测方法包括：

首先，通过编码器对内存和更新进行编码输入和生成查询；其次，进行信号分类并引入存储模块通过一定的策略对编码器提取的特征进行存储；然后通过解码器，用于对输入的数据与来自内存的查询结果进行重构；最后基于查询结果、重构结果以及分类结果进行频谱异常检测。

进一步，所述存储增强的无监督频谱异常检测方法包括以下步骤：

步骤一，编码器对输入的信号进行编码，提取输入信号的特征用作查询，计算每一条查询和存储模块中存储项的余弦相似度；

步骤二，利用归一化指数函数对余弦相似度进行计算，得到所述输入信号对于存储模块的寻址权重，并使用硬收缩技术，即依据提前设定的阈值，将寻址权重小于阈值的部分设置为0，以此更新寻址权重；同时，通过最小化特征分离损失和特征紧紧凑损失，对存储模块中进行更新，保证有限的大小的存储模块尽可能的存储更多种类的正常信号特征；

步骤三，根据步骤二中的寻址权重，读取相应的内存项并加权求和作为查询结果，计算查询和该查询结果的L2范数用作查询损失，并计算查询的信号类别作为分类结果，同时将查询结果输出至解码器，由于存储模块中的内存项不存在异常信号的部分，因此不会将异常重构；

步骤四，解码器对步骤三读取的查询结果进行重构，并计算输入信号与重构信号的L2范数，用作重构损失；

步骤五，综合查询损失、分类结果和重构损失，判断频谱信号是否为异常信号。

进一步，所述查询内存中与提取的特征相似度最高的项包括：通过计算提取特征与存储模块中的每一内存项的余弦相似度确定相似度最高的项。

进一步，所述步骤五之前还需进行：利用分类网络得到信号种类的分类结果。

进一步，所述计算重构损失包括：计算解码器重构的结果和输入结果的均方误差得到重构损失。

本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：首先，通过编码器对内存和更新进行编码输入和生成查询；其次，进行信号分类并引入存储模块通过一定的策略对编码器提取的特征进行存储；然后通过解码器，用于对输入的数据与来自内存的查询结果进行重构；最后基于查询结果、重构结果以及分类结果进行频谱异常检测。

本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：首先，通过编码器对内存和更新进行编码输入和生成查询；其次，进行信号分类并引入存储模块通过一定的策略对编码器提取的特征进行存储；然后通过解码器，用于对输入的数据与来自内存的查询结果进行重构；最后基于查询结果、重构结果以及分类结果进行频谱异常检测。

本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述存储增强的无监督频谱异常检测方法。

本发明的另一目的在于提供一种实施所述存储增强的无监督频谱异常检测方法的存储增强的无监督频谱异常检测系统，所述存储增强的无监督频谱异常检测系统包括：

编码器、解码器以及存储模块；

编码器，用于对内存和更新进行编码输入和生成查询；

解码器，用于对输入的数据与来自内存的查询结果进行重构；

存储模块，用于通过一定的策略对编码器提取的特征进行存储；同时用于对自动编码器中潜变量进行存取。

进一步，所述存储模块包括：

将存储模块设置为可训练的参数，在训练过程中，根据特征紧凑损失和特征分离损失来自动进行更新。

进一步，所述特征紧凑损失由每次的输入与当前存储模块中的每一个内存项来计算，具体公式为：

其中q为每次输入经编码器处理后得到的对应查询，P_p为该查询对应的存储模块中最相似的内存项，下标p指此内存项在存储模块中的索引。

进一步，所述特征分离损失由每次的输入与内存中最接近的和第二接近的项的距离之差来计算，具体公式为：

其中q为每次输入经编码器处理后得到的对应查询，P_p为该查询对应的存储模块中最相似的内存项，P_n为该查询对应的存储模块中第二相似的内存项，下标p和n指内存项在存储模块中的索引。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明针对当前现有的使用自动编码器的无监督异常检测方法提出了改进，在自动编码器中引入了存储模块，根据一定策略，可以对自动编码器中编码器提取的特征进行存取操作，并由解码器进行重构。本发明所提出的异常检测方法，有效减小了自动编码器中神经网络(尤其是卷积神经网络)其泛化性所带来的误差，从而大幅提升了无监督异常频谱检测的正确率。

本发明提供了一种使用存储模块的方案，减轻了卷积神经网络本身的特点所带来的影响，继而提升了检测成功率。

本发明由于引入存储模块，每次将信号输入本发明的模型之后，可以根据输入的特征，从内存中选取最接近的信号进行重构，从而保证了异常的信号不会被引入解码器中，在保证了正常信号重构误差较小的同时，使得异常信号不会被重构，即避免了异常信号的重构误差较小的问题，有效提升了分类的性能。

附图说明

图1是本发明实施例提供的存储增强的无监督频谱异常检测方法原理图。

图2是本发明实施例提供的存储增强的无监督频谱异常检测方法流程图。

图3是本发明实施例提供的工作时对内存的查询与选择操作示意图。

图4是本发明实施例提供的存储增强的自动编码器判别结果示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种存储增强的无监督频谱异常检测方法、系统、设备、介质，下面结合附图对本发明作详细的描述。

如图1所示，本发明实施例提供的存储增强的无监督频谱异常检测方法包括：

首先，通过编码器对内存和更新进行编码输入和生成查询；其次，进行信号分类并引入存储模块通过一定的策略对编码器提取的特征进行存储；然后通过解码器，用于对输入的数据与来自内存的查询结果进行重构；最后基于查询结果、重构结果以及分类结果进行频谱异常检测。

如图2所示，本发明实施例提供的存储增强的无监督频谱异常检测方法包括以下步骤：

S101，编码器对输入的信号进行编码，提取输入信号的特征用作查询，计算每一条查询和存储模块中存储项的余弦相似度；

S102，利用归一化指数函数对余弦相似度进行计算，得到所述输入信号对于存储模块的寻址权重，并使用硬收缩技术，即依据提前设定的阈值，将寻址权重小于阈值的部分设置为0，以此更新寻址权重；同时，通过最小化特征分离损失和特征紧紧凑损失，对存储模块中进行更新，保证有限的大小的存储模块尽可能的存储更多种类的正常信号特征；

S103，根据步骤S102中的寻址权重，读取相应的内存项并加权求和作为查询结果，计算查询和该查询结果的L2范数用作查询损失，并计算查询的信号类别作为分类结果，同时将查询结果输出至解码器，由于存储模块中的内存项不存在异常信号的部分，因此不会将异常重构；

S104，解码器对输入信号与步骤S103读取的查询结果进行重构，并计算输入信号与重构信号的L2范数，并计算重构损失；

S105，综合查询损失、分类结果和重构损失，判断频谱信号是否为异常信号。

本发明实施例提供的查询内存中与提取的特征相似度最高的项包括：通过计算提取特征与存储模块中的每一内存项的余弦相似度确定相似度最高的项。

本发明实施例提供的步骤五之前还需进行：利用分类网络得到信号种类的分类结果。

本发明实施例提供的计算重构损失包括：计算解码器重构的结果和输入结果的均方误差得到重构损失。

本发明实施例提供的存储增强的无监督频谱异常检测系统包括：

编码器、解码器以及存储模块；

编码器，用于对内存和更新进行编码输入和生成查询；

解码器，用于对输入的数据与来自内存的查询结果进行重构；

存储模块，用于通过一定的策略对编码器提取的特征进行存储；同时用于对自动编码器中潜变量进行存取。

本发明实施例提供的存储模块包括：

将存储模块设置为可训练的参数，在训练过程中，根据特征紧凑损失和特征分离损失来自动进行更新。

本发明实施例提供的特征紧凑损失由每次的输入与当前存储模块中的每一个内存项来计算，具体公式为：

本发明实施例提供的特征分离损失由每次的输入与内存中最接近的和第二接近的项的距离之差来计算，具体公式为：

下面结合具体实施例对本发明的技术方案做进一步说明。

实施例1：

本发明在自动编码器中编码器与解码器之间引入了存储模块，该模块具有存取数据的功能。存储模块主要用于对自动编码器中潜变量的存取，训练阶段，编码器提取的潜变量会通过一定策略进行存储，这些策略使存储模块中存储的项尽可能包含不同的正常信号的特征，同时也尽量避免存储模块中的内容冗余，解码器会选取存储模块中和输入最相似的特征进行重构。因此，在自动编码器工作的时候，存储模块的存在保证了异常的信号不会被引入解码器中，这避免了卷积神经网络将异常信号重构出来，从而可以检测出现的异常。

本发明设计的存储增强的无监督异常检测方案，利用存储增强的自动编码器来解决重构异常的问题。内存增强的自动编码器工作时，其编码器不会直接将其编码的结果输入解码器，而是首先将其用作查询以检索内存中相似度最高的项。然后将最相似度最高的项送至解码器中进行重构。由于训练阶段只使用正常的数据进行训练，因此从内存中取出的内存项不会包含异常信号的特征，从而规避了被解码器中的卷积算子将其重构而导致异常漏检。

同时在存储模块中，本发明引入特征分离损失算子来使得存储器寻址权重具有稀疏性，这种方法使得内存中存贮的项尽可能全面地包含正常训练数据中记录的正常模式。因此，对于正常信号的处理过程，不会因为内存大小的限制导致正常信号未被记录而产生误判。

综上，存储增强的自动编码器在正常和异常信号的判别上均有较好的效果。

工作原理部分：

如图1所示，本发明提出的异常检测方案由三个相关项组成：编码器，解码器和存储模块。编码器对内存和更新进行编码输入和生成查询。解码器对输入的数据与来自内存的查询结果进行重构。

存储模块的对比查询如图2所示，当信号被输入自动编码器时，其编码器首先对输入进行编码，从而提取输入的特征，并计算该特征与存储模块中的每一内存项的余弦相似度，用作对于存储模块的查询。随后对余弦相似度矩阵应用归一化指数函数计算，获取的值即为当前输入对于存储模块的寻址权重，选取权重最大值所对应的内存项，从存储模块中读出并交予解码器进行处理。

本发明中，将存储模块设置为可训练的参数，在训练过程中自动进行更新，在此过程中引入了特征紧凑损失和特征分离损失。特征紧凑损失由每次的输入与当前存储模块中的每一个内存项来计算，具体公式为：

特征分离损失由每次的输入与内存中最接近的和第二接近的项的距离之差来计算，具体公式为：

特征紧凑损失，可使输入的查询与其最相似的内存项尽可能的相近，减小内存中每一类信号的类内差异。特征分离损失，可使得输入的查询在特征紧凑损失的基础上，与第二相似的内存项尽可能远离，增大内存中每一类信号的类间差异。

在存储模块查询阶段，计算每一条查询和存储模块中存储项的查询损失。在分类网络中，由分类网络得到信号种类的分类结果。在网络重构之后，计算解码器重构的结果和输入结果的均方误差得到重构损失。综合查询损失、分类结果和重构损失，来判别频谱信号是否为异常信号。

为证明本发明所提出的存储增强的无监督频谱异常检测方法的可行性，进行了下述实验：

单连续信号,单连续随机截断信号,多连续信号,去跳信号是频谱中常见的几种信号，因此在验证本发明方法的实验中，主要采用了这几种信号用作正常信号，异常信号则是在上述正常信号上添加了单连续信号,随机脉冲和宽脉冲作为异常，具体实验及如果如下所示。

图4为存储增强的自动编码器判别结果，其中第一行和第四行分别为输入的正常信号和异常信号，从左至右分别是。第二行和第五行为经过存储增强的自动编码器中编码器和解码器处理后的图片，可见在第二行中，正常信号可以被很好重构，因此重构误差较小，而第五行的异常信号则在重构过程中消除了异常的信号，只是将其中正常的部分很好的重构出来，从而重构误差较大。第三行和第六行则为将重构后的图片与原始图片相减得到的结果，用以定位异常出现的位置。

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种存储增强的无监督频谱异常检测方法，其特征在于，所述存储增强的无监督频谱异常检测方法包括：

首先，通过编码器对内存和更新进行编码输入和生成查询；其次，进行信号分类并引入存储模块通过一定的策略对编码器提取的特征进行存储；然后通过解码器，用于对输入的数据与来自内存的查询结果进行重构；最后基于查询结果、重构结果以及分类结果进行频谱异常检测；

所述存储增强的无监督频谱异常检测方法包括以下步骤：

步骤一，编码器对输入的信号进行编码，提取输入信号的特征用作查询，计算每一条查询和存储模块中存储项的余弦相似度；

步骤二，利用归一化指数函数对余弦相似度进行计算，得到所述输入信号对于存储模块的寻址权重，并使用硬收缩技术，即依据提前设定的阈值，将寻址权重小于阈值的部分设置为0，以此更新寻址权重；同时，通过最小化特征分离损失和特征紧凑损失，对存储模块中进行更新，保证有限的大小的存储模块尽可能地存储更多种类的正常信号特征；

步骤三，根据步骤二中的寻址权重，读取相应的内存项并加权求和作为查询结果，计算查询和该查询结果的L2范数用作查询损失，并计算查询的信号类别作为分类结果，同时将查询结果输出至解码器，由于存储模块中的内存项不存在异常信号的部分，因此不会将异常重构；

步骤四，解码器对步骤三读取的查询结果进行重构，并计算输入信号与重构信号的L2范数，用作重构损失；

步骤五，综合查询损失、分类结果和重构损失，判断频谱信号是否为异常信号。

2.如权利要求1所述存储增强的无监督频谱异常检测方法，其特征在于，所述查询内存中与提取的特征相似度最高的项包括：通过计算提取特征与存储模块中的每一内存项的余弦相似度确定相似度最高的项。

3.如权利要求1所述存储增强的无监督频谱异常检测方法，其特征在于，所述步骤五之前还需进行：利用分类网络得到信号种类的分类结果。

4.如权利要求1所述存储增强的无监督频谱异常检测方法，其特征在于，计算所述重构损失包括：计算解码器重构的结果和输入结果的均方误差得到重构损失。

5.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1～4任意一项所述存储增强的无监督频谱异常检测方法的步骤。

6.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1～4任意一项所述存储增强的无监督频谱异常检测方法的步骤。

7.一种实施权利要求1-4任意一项所述存储增强的无监督频谱异常检测方法的存储增强的无监督频谱异常检测系统，其特征在于，所述存储增强的无监督频谱异常检测系统包括：

编码器、解码器以及存储模块；

编码器，用于对内存和更新进行编码输入和生成查询；

解码器，用于对输入的数据与来自内存的查询结果进行重构；

存储模块，用于通过一定的策略对编码器提取的特征进行存储；同时用于对自动编码器中潜变量进行存取。

8.如权利要求7所述存储增强的无监督频谱异常检测系统，其特征在于，所述存储模块包括：

将存储模块设置为可训练的参数，在训练过程中，根据特征紧凑损失和特征分离损失来自动进行更新。

Images