CN113541834A - 一种异常信号半监督分类方法、系统、数据处理终端 - Google Patents

一种异常信号半监督分类方法、系统、数据处理终端 Download PDF

Info

Publication number
CN113541834A
CN113541834A CN202110708117.5A CN202110708117A CN113541834A CN 113541834 A CN113541834 A CN 113541834A CN 202110708117 A CN202110708117 A CN 202110708117A CN 113541834 A CN113541834 A CN 113541834A
Authority
CN
China
Prior art keywords
clustering
cnn
data
abnormal signal
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110708117.5A
Other languages
English (en)
Other versions
CN113541834B (zh
Inventor
齐佩汉
陈婉清
姜涛
周航平
位萱
马建峰
孟永超
张抗抗
周小雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202110708117.5A priority Critical patent/CN113541834B/zh
Publication of CN113541834A publication Critical patent/CN113541834A/zh
Application granted granted Critical
Publication of CN113541834B publication Critical patent/CN113541834B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/382—Monitoring; Testing of propagation channels for resource allocation, admission control or handover
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/08—Testing, supervising or monitoring using real traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及深度学习和无线通信频谱信号技术领域，公开了一种异常信号半监督分类方法、系统、数据处理终端，通过建立一个深度聚类模型，将异常信号数据作为CNN模型的输入，然后提取输入数据的压缩特征作为K‑means聚类算法的输入，用于聚类；同时将CNN所提取的特征输入到CNN的分类层进行分类；最后计算K‑means的输出与CNN的输出间的损失，并更新CNN的参数，直到迭代过程收敛，以达到用聚类结果来辅助训练分类器的目的。为了使该模型在我们的数据集上有较好的表现，我们引入预训练模型、确定聚类的初始质心、构建类别均值Memory以及替换伪标签等优化方法，并且所采用的半监督的学习方法可以使频谱管理人员在用户交互较小的情况下对异常信号分类。

Description

一种异常信号半监督分类方法、系统、数据处理终端
技术领域
本发明涉及深度学习和无线通信频谱信号技术领域，尤其涉及一种异常信号半监督分类方法、系统、数据处理终端。
背景技术
无线电频谱是我们最宝贵和最广泛使用的自然资源之一。随着无线通信技术的发展，无线通信网络包含多种类型的通信系统，用于多样化的用户通信服务，同时频谱使用变得非常复杂，这导致电波拥塞和其他干扰等问题。无线网络结构复杂多样，其中无线频谱信号中的异常的种类更是繁多，为了方便无线网络结构的频谱管理，研究人员通常希望在检测出异常信号后，还能知道该异常的类别，以及哪种异常出现的次数多等等。如果能将不同频带上存在的相似异常进行分组，这样不仅可以使用户交互最小，还有利于频谱管理，这对促进新一代无线系统的发展变得至关重要。然而，实际的无线频带使用不同的参数，如信号带宽、调制类型和时间占用，因此无线频谱异常信号分类问题，仍然是一个昂贵的过程。所以无线通信网络需要一个高效、可靠的解决方案来分类出各种无线频谱异常信号。
目前，业内常用的现有技术是这样的：最近，基于深度学习的方法在诸如图像分类、对象检测和跟踪以及检索等各个领域取得了一系列突破。它们采用的结构大都基于卷积神经网络(CNNs)。而关于聚类的研究工作都是基于特征编码的，如哈希，这可以大大降低图像特征的维数，从而使大规模聚类成为可能。然而，降低特征的维数相当于降低表征能力，导致聚类性能不理想。
综上所述，现有技术存在的问题是：
(1)给异常的无线频谱异常信号打上标签类别需要耗费大量的人力，财力，实现起来十分困难，因此之前研究人员所提出的有监督学习的分类方法，不适用于无线频谱异常信号。
(2)由于真实世界里，无线网络环境十分复杂，无线频谱异常信号的种类繁多，单纯地使用无监督学习的算法对多种异常信号进行聚类也很难达到我们想要的结果。
解决以上问题及缺陷的难度为：既要完全利用好真实无线网络环境中有用信息，也要保证无线频谱异常信号的分类准确度。本发明结合了记忆增强频谱异常检测编码器MemSAD、卷积神经网络CNN以及无监督学习聚类算法K-means，提出了一种基于深度学习的半监督的异常信号分类方法来解决上述问题。
解决以上问题及缺陷的意义为：可以使频谱管理人员可以在用户交互较小的情况下，从复杂的无限网络环境中对异常信号进行分类，且分类准确度可接受。
发明内容
针对现有技术存在的问题，本发明提供了一种异常信号半监督分类方法、系统、数据处理终端。
本发明是这样实现的，一种异常信号半监督分类方法，所述方法包括以下步骤：
步骤一：构建一个深度学习聚类模型，利用少量有标签的异常信号数据预训练一个CNN分类模型；
步骤二：将异常信号数据作为步骤一中训练好的CNN模型的输入，通过CNN中间层的映射函数提取输入数据的压缩特征；
步骤三：将CNN提取的小部分少量有标签的每个类别的压缩特征的均值作为初始聚类质心；
步骤四：将CNN中间层提取的全部压缩特征作为K-means聚类算法的输入用于聚类，从而得到新的聚类质心；
步骤五：将CNN中间层提取的全部少量有标签的每个类别的压缩特征的均值放入Memory中；
步骤六：计算K-means得到的新的聚类质心与存放在Memory中的均值的欧式距离，若K-means中某个类的质心离Memory中的某个均值最近，则为该类中的所有无标签的数据打上Memory中的类别标签；
步骤七：此时，K-means的聚类结果中所有的数据都有了相应了标签，利用交叉熵函数损失去更新CNN网络的参数；
步骤八：重复上述步骤四至步骤七，直到迭代过程收敛，以达到用聚类结果来辅助训练分类器的目的。
进一步，所述深度学习聚类模型包括一个记忆增强频谱异常检测编码器MemSAD、一个经典的卷积神经网络CNN和一个无监督聚类算法K-means；
所述深度学习聚类模型采用了一个合成异常信号数据集，所述合成异常信号数据集中包含少量有标签的数据
Figure BDA0003132165650000031
和大量无标签的数据
Figure BDA0003132165650000032
该合成异常信号数据集为原始异常信号通过MemSAD编码器网络进行编码、解码后的重构误差；深度学习聚类模型的输入异常信号数据如下：
Figure BDA0003132165650000033
其中，xi为原始异常信号数据，
Figure BDA0003132165650000034
为MemSAD编码器输出的重构异常信号数据。
进一步，所述预训练一个CNN分类模型包括利用合成异常信号数据集中全部的少量有标签数据
Figure BDA0003132165650000035
作为CNN网络的输入，经过卷积、池化以及展平等操作，进行预训练，最后将训练好的CNN网络参数保存下来；
采用预先训练好的CNN网络来提取数据特征，将全部异常数据
Figure BDA0003132165650000036
输入到该网络，通过卷积层、池化层等中间层的映射函数对
Figure BDA0003132165650000037
的特征进行压缩提取，得到压缩特征：
Figure BDA0003132165650000041
其中，fθ(·)为卷积层、池化层等中间层的映射函数，
Figure BDA0003132165650000042
为输入异常信号数据。
进一步，所述K-means算法预先设置所需参数，所述参数包括异常信号聚类的类别数k和初始聚类质心。通过CNN网络的中间层映射函数fθ(·)提取的有标签数据
Figure BDA0003132165650000043
的压缩特征
Figure BDA0003132165650000044
F＜L，选取其中的一小部分压缩特征
Figure BDA0003132165650000045
C＜F来计算其每一个类别的均值
Figure BDA0003132165650000046
计算出k个类别的压缩特征的均值，并将这k个均值作为K-means算法的初始聚类质心；
所述K-means算法将CNN网络所提取的全部数据的压缩特征
Figure BDA0003132165650000047
F＜I＜N作为K-means的输入，对压缩特征序列
Figure BDA0003132165650000048
中每一个数据点，计算其与每一个初始质心
Figure BDA0003132165650000049
的欧式距离，并将数据点划分到距离最近的一个质心所属的类别中，把所有数据归好类后，一共有k个类；然后通过计算每个聚类样本的均值重新确定每个类的质心
Figure BDA00031321656500000410
进一步，所述CNN网络将所提取的全部有标签的数据的压缩特征来计算其
Figure BDA00031321656500000411
F＜L每一个类别的均值
Figure BDA00031321656500000412
并将其存放在Memory中；
通过计算K-means得到的新的聚类质心
Figure BDA00031321656500000413
与存放在Memory中的均值
Figure BDA00031321656500000414
的欧式距离来为K-means的聚类结果打上伪标签，即若K-means中某个类的质心
Figure BDA00031321656500000415
与Memory中的某个均值
Figure BDA00031321656500000416
的距离最近，则认为K-means第i类中的所有无标签数据的类别都为Memory中的第j类，此时，K-means聚类结果中的所有无标签数据都有了相应了标签；
将K-means第一次聚类的结果ri和通过CNN网络中间层的输出结果
Figure BDA0003132165650000051
一起输入到CNN网络的分类层，计算K-means的输出与CNN的输出之间的损失，即计算全连接网络的分类结果与K-means聚类结果的交叉熵函数，交叉熵函数定义如下：
Figure BDA0003132165650000052
其中，ri为K-means的聚类输出结果，
Figure BDA0003132165650000053
为CNN分类器的输出结果。
进一步，将压缩后的异常信号序列
Figure BDA0003132165650000054
作为K-means算法的输入，将每个输入样本按照最小距离原则分配到最近的类中，并使用每个聚类的样本均值更新每个聚类中心，直到聚类中心不再发生变化，即K-means算法的训练目标表示如下：
Figure BDA0003132165650000055
其中，C为质心矩阵，每个输入样本
Figure BDA0003132165650000056
都与{0,1}k中的伪标签ri关联；
所述K-means算法采用调整兰德指数ARI评价指标来判断本次聚类结果和上次聚类结果的相似度，从而判断K-means何时收敛，ARI定义如下：
Figure BDA0003132165650000057
其中，
Figure BDA0003132165650000058
为兰德系数，E为期望。ARI的值越高，聚类结果就越相似，越接近于聚类的收敛性。
进一步，所述异常信号半监督分类方法采用CNN网络和K-means算法交替进行异常信号分类，通过计算K-means聚类输出和卷积神经网络CNN的输出之间的损失来联合更新卷积神经网络CNN分类器的参数
Figure BDA0003132165650000059
以及映射函数的参数θ，直到找到一个最佳的参数
Figure BDA00031321656500000510
和θ*使迭代过程收敛，以达到用聚类结果来辅助训练分类器的目的，即解决下列问题：
Figure BDA00031321656500000511
其中，
Figure BDA0003132165650000061
为交叉熵损失函数，ri为K-means的聚类输出结果，
Figure BDA0003132165650000062
为CNN分类器的输出结果。
本发明的另一目的在于提供一种异常信号半监督分类系统，所述半监督的异常信号分类系统包括：
模型构建模块，用于构建一个深度学习聚类模型；
模型预训练模块，用于利用少量有标签的异常信号数据预训练一个CNN分类模型；
压缩特征提取模块，用于将异常信号数据作为训练好的CNN模型的输入，通过CNN中间层的映射函数提取输入数据的压缩特征；
参数设置模块，用于对K-means聚类算法的所需参数进行预先设置；
聚类质心获取模块，用于对初始聚类质心和新的聚类质心进行计算；
距离计算模块，用于计算K-means得到的新的聚类质心与存放在Memory中的均值的欧式距离；
参数更新模块，用于利用交叉熵函数损失去更新CNN网络的参数。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：
本发明克服已有技术的不足之处，提出了一种基于深度学习的半监督异常信号分类方法，可以对大量无标签、少量有标签的信号数据进行半监督分类，解决了大多数聚类算法在无标签条件下聚类效果不佳的问题。具体优点及积极效果如下：
(1)本发明针对信号种类繁多，区分不明显的问题，采用了MemSAD的重构损失作为输入，增大了异常样本的差异性，从而提高了深度学习半监督分类模型识别的准确率。
(2)本发明针对目前分类模型并未对异常信号建模的问题，通过结合卷积神经网络CNN和无监督聚类算法K-means，构建了一种基于深度学习的半监督异常信号分类模型，该模型无需获取大量具有标签的数据即可对数据进行分类处理，并且聚类效果比单纯使用无监督聚类算法K-means效果更佳。
附图说明
图1是本发明实施例提供的异常信号半监督分类方法的流程图。
图2是本发明实施例提供的基于深度学习的半监督的异常信号分类方法的模型结构图。
图3是本发明实施例提供的微调后的AlexNet网络的参数。
图4是本发明实施例提供的合成异常信号数据集，里面包含12类异常。
图5是本发明实施例提供的K-means聚类评价指标ARI在不同迭代次数下的值。
图6是本发明实施例提供的基于深度学习的半监督的异常信号分类方法的聚类结果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本实施实例提供了一种异常信号半监督分类方法、系统、数据处理终端，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的异常信号半监督分类方法包括以下步骤：
S101：构建一个深度学习聚类模型，利用少量有标签的异常信号数据预训练一个CNN分类模型；
S102：将全部异常信号数据作为步骤S101中训练好的CNN模型的输入，通过CNN中间层的映射函数提取输入数据的压缩特征；
S103：将CNN提取的小部分少量有标签的每个类别的压缩特征的均值作为初始聚类质心；
S104：将CNN中间层提取的全部压缩特征作为K-means聚类算法的输入用于聚类，从而得到新的聚类质心；
S105：将CNN中间层提取的全部少量有标签的每个类别的压缩特征的均值放入Memory中；
S106：计算K-means得到的新的聚类质心与存放在Memory中的均值的欧式距离，若K-means中某个类的质心离Memory中的某个均值最近，则为该类中的所有无标签的数据打上Memory中的类别标签；
S107：此时，K-means的聚类结果中所有的数据都有了相应了标签，利用交叉熵函数损失去更新CNN网络的参数；
S108：重复上述步骤S104至步骤S107，直到迭代过程收敛，以达到用聚类结果来辅助训练分类器的目的。
下面结合具体实施例对本发明进一步进行描述。
本发明是这样实现的，一种异常信号半监督分类方法包括以下步骤：
步骤S1：构建一个深度学习聚类模型，所述深度学习聚类模型包括一个记忆增强频谱异常检测编码器MemSAD(Memory-augmented Unsupervised Spectrum AnomalyDetection)、一个经典的卷积神经网络CNN(Convolutional Neural Networks)和一个无监督聚类算法K-means。首先利用30％有标签的异常信号数据预训练一个CNN分类模型；
步骤S2：将异常信号数据(30％有标签数据和70％无标签数据)作为步骤S1中训练好的CNN模型的输入，通过CNN中间层的映射函数提取输入数据的压缩特征；
步骤S3：将CNN提取的前5％的有标签数据的每个类别的压缩特征的均值作为初始聚类质心；
步骤S4：将CNN中间层提取的全部数据压缩特征作为K-means聚类算法的输入用于聚类，从而得到新的聚类质心；
步骤S5：将CNN中间层提取的30％有标签数据的每个类别的压缩特征的均值放入Memory中；
步骤S6：计算K-means得到的新的聚类质心与存放在Memory中的均值的欧式距离，若K-means中某个类的质心离Memory中的某个均值最近，则为该类中的所有无标签的数据打上Memory中的类别标签；
步骤S7：此时，K-means的聚类结果中所有的数据都有了相应了标签，利用交叉熵函数损失去更新CNN网络的参数；
步骤S8：重复上述步骤S4、S5、S6、S7，直到迭代过程收敛，以达到用聚类结果来辅助训练分类器的目的。
步骤S1中，具体地，如图2所示，本发明所构建的深度学习聚类模型由以下几个部分组成：一个记忆增强无监督频谱异常检测编码器MemSAD(Memory-augmentedUnsupervised Spectrum Anomaly Detection)、一个经典的卷积神经网络CNN(Convolutional Neural Networks)和K-means聚类算法。
(1)MemSAD：可检测由故障和误用导致的频谱使用异常，其内存模块记录了正常数据的原型模式，并且允许在训练和测试阶段同时进行更新，从而提高记忆项以及从正常数据学习压缩特征的能力。
(2)CNN：用于提取异常数据的压缩特征以及对异常数据进行分类，本发明所采用的CNN网络是一个微调后的AlexNet网络。AlexNet是一个由5个卷积层和3个全连接层组成的，本发明对该网络的参数进行了微调，具体参数见图3。
(3)K-means聚类算法：用于对CNN网络压缩后的特征进行聚类。
进一步，步骤S1中所述的深度学习聚类模型将原始异常信号X＝{x1,...,xi,...,xN}通过MemSAD编码器网络进行重构，得到重构后的异常信号
Figure BDA0003132165650000091
该合成异常信号数据集为MemSAD的重构误差
Figure BDA0003132165650000092
深度学习聚类模块的输入异常信号数据如下：
Figure BDA0003132165650000093
其中，xi为原始异常信号数据，
Figure BDA0003132165650000094
为MemSAD编码器输出的重构异常信号数据。
进一步，步骤S1中所述的深度学习聚类模型将30％有标签的异常信号数据
Figure BDA0003132165650000101
作为CNN网络的输入，经过卷积、池化以及展平等操作，进行预训练，最后将训练好的CNN模型参数保存下来。
步骤S2中，具体地，该合成异常信号数据集含36000个异常数据，信号异常类别数为12，如图4所示。其中10800个有标签数据(占比30％)，25200个无标签数据(占比70％)作为步骤S1中训练好的CNN模型的输入。
进一步，将异常数据
Figure BDA0003132165650000102
输入到微调后的AlexNet网络，通过卷积层、池化层等中间层的映射函数可以对
Figure BDA0003132165650000103
的特征进行压缩提取，得到
Figure BDA0003132165650000104
步骤S3中，具体地，K-means算法需要预先设置所需参数，所述参数包括异常信号聚类的类别数和初始聚类质心。首先确定一个k值，即我们希望将数据集经过聚类得到12个类别，因此令k＝12。从步骤S2中CNN网络的中间层映射函数fθ(·)提取的10800个有标签数据的压缩特征中选取前540个数据的压缩特征(占比5％)来计算其每一个类别的均值
Figure BDA0003132165650000105
由于每个特征是有类别标签的，因而可以计算出12个类别的压缩特征的均值，并将这12个均值作为K-means算法的初始聚类质心。
步骤S4中，具体地，将步骤S2中所提取的36000个数据的压缩特征作为K-means的输入，对压缩特征序列中每一个数据点，计算其与步骤S3中所得到的每一个初始质心
Figure BDA0003132165650000106
的欧式距离，将数据点划分到距离最近的一个质心所属的类别中，把所有数据归好类后，一共有12个类。然后通过计算每个聚类样本的均值重新确定每个类的质心
Figure BDA0003132165650000107
步骤S5中，具体地，利用步骤S2中所提取的10800个有标签数据的压缩特征来计算其每一个类别的均值
Figure BDA0003132165650000108
并将其存放在Memory中。
步骤S6中，具体地，计算K-means得到的新的聚类质心
Figure BDA0003132165650000109
与存放在Memory中的均值
Figure BDA0003132165650000111
的欧式距离来为K-means的聚类结果打上伪标签。即若K-means中某个类的质心
Figure BDA0003132165650000112
与Memory中的某个均值
Figure BDA0003132165650000113
的距离最近，认为K-means第3类中的所有无标签数据的标签为6。此时，K-means聚类结果中的所有无标签数据都有了相应了标签。
步骤S7中，具体地，此时，所有的数据都有了相应了标签，将K-means第一次聚类的结果ri和通过CNN网络中间层的输出结果
Figure BDA0003132165650000114
一起输入到CNN网络的分类层，计算K-means的输出与CNN的输出之间的损失，即计算全连接网络的分类结果与K-means聚类结果的交叉熵函数，交叉熵函数定义如下：
Figure BDA0003132165650000115
其中，ri为K-means的聚类输出结果，
Figure BDA0003132165650000116
为CNN分类器的输出结果。
进一步，通过误差反向传播算法以及交叉熵损失函数来更新CNN的参数，并得到新的中间层映射函数。输入数据通过新的映射函数进行压缩特征的提取，并将提取的特征输入到K-means算法中，此时K-means沿用上一次保存的初始质心进行聚类。
步骤S8中，具体地，重复上述步骤S4、S5、S6、S7，直到迭代过程收敛，以达到用聚类结果来辅助训练分类器的目的。K-means算法的具体的训练目标表示如下：
Figure BDA0003132165650000117
其中，C为质心矩阵，每个输入样本
Figure BDA0003132165650000119
都与{0,1}k中的伪标签ri关联。
进一步，本发明采用调整兰德指数ARI评价指标来判断本次聚类结果和上次聚类结果的相似度，从而判断K-means何时收敛，ARI定义如下：
Figure BDA0003132165650000118
其中，
Figure BDA0003132165650000121
为兰德系数，E为期望。ARI的值越高，聚类结果就越相似，越接近于聚类的收敛性。
进一步，K-means聚类评价指标ARI在不同迭代次数下的值如图5所示。
进一步，利用K-means的聚类结果辅助CNN进行参数更新，直到找到一个最佳的参数
Figure BDA0003132165650000122
和θ*使迭代过程收敛。以达到用聚类结果来辅助训练分类器的目的。即解决下列问题：
Figure BDA0003132165650000123
其中，
Figure BDA0003132165650000124
为交叉熵损失函数，ri为K-means的聚类输出结果，
Figure BDA0003132165650000125
为CNN分类器的输出结果。
进一步，当CNN的分类器训练完成后，输入无标签的测试数据，得到K-means的最终聚类结果图，如图6所示。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种异常信号半监督分类方法，其特征在于，所述半监督的异常信号分类方法包括以下步骤：
步骤一：构建一个深度学习聚类模型，利用少量有标签的异常信号数据预训练一个CNN分类模型；
步骤二：将异常信号数据作为步骤一中训练好的CNN模型的输入，通过CNN中间层的映射函数提取输入数据的压缩特征；
步骤三：将CNN提取的小部分少量有标签的每个类别的压缩特征的均值作为初始聚类质心；
步骤四：将CNN中间层提取的全部压缩特征作为K-means聚类算法的输入用于聚类，得到新的聚类质心；
步骤五：将CNN中间层提取的全部少量有标签的每个类别的压缩特征的均值放入Memory中；
步骤六：计算K-means得到的新的聚类质心与存放在Memory中的均值的欧式距离，若K-means中某个类的质心离Memory中的某个均值最近，则为该类中的所有无标签的数据打上Memory中的类别标签；
步骤七：此时，K-means的聚类结果中所有的数据都有了相应了标签，利用交叉熵函数损失去更新CNN网络的参数；
步骤八：重复上述步骤四至步骤七，直到迭代过程收敛，以达到用聚类结果来辅助训练分类器的目的。
2.如权利要求1所述的异常信号半监督分类方法，其特征在于，所述深度学习聚类模型包括一个记忆增强频谱异常检测编码器MemSAD、一个经典的卷积神经网络CNN和一个无监督聚类算法K-means；
所述深度学习聚类模型采用了一个合成异常信号数据集，所述合成异常信号数据集中含有少量的有标签数据
Figure FDA0003132165640000011
和大量的无标签数据
Figure FDA0003132165640000012
该合成异常信号数据集为原始异常信号通过MemSAD编码器网络进行编码、解码后的重构误差；深度学习聚类模型的输入异常信号数据如下：
Figure FDA0003132165640000021
其中，xi为原始异常信号数据，
Figure FDA0003132165640000022
为MemSAD编码器输出的重构异常信号数据。
3.如权利要求1所述的异常信号半监督分类方法，其特征在于，所述预训练一个CNN分类模型包括利用合成异常信号数据集中全部的少量有标签数据
Figure FDA0003132165640000023
作为CNN网络的输入，经过卷积、池化以及展平等操作，进行预训练，最后将训练好的CNN网络参数保存下来；
采用预先训练好的CNN网络来提取数据特征，将全部异常数据
Figure FDA0003132165640000024
输入到该网络，通过卷积层、池化层等中间层的映射函数对
Figure FDA0003132165640000025
的特征进行压缩提取，得到压缩特征：
Figure FDA0003132165640000026
其中，fθ(·)为卷积层、池化层等中间层的映射函数，
Figure FDA0003132165640000027
为输入异常信号数据。
4.如权利要求1所述的异常信号半监督分类方法，其特征在于，所述K-means算法预先设置所需参数，所述参数包括异常信号聚类的类别数和初始聚类质心；通过CNN网络的中间层映射函数fθ(·)提取的有标签数据
Figure FDA0003132165640000028
的压缩特征
Figure FDA0003132165640000029
F＜L，选取其中的一小部分压缩特征
Figure FDA00031321656400000210
C＜F来计算其每一个类别的均值
Figure FDA00031321656400000211
计算出k个类别的压缩特征的均值，并将这k个均值作为K-means算法的初始聚类质心；
所述K-means算法将CNN网络所提取的全部数据的压缩特征
Figure FDA00031321656400000212
F＜I＜N作为K-means的输入，对压缩特征序列
Figure FDA00031321656400000213
中每一个数据点，计算其与每一个初始质心
Figure FDA00031321656400000214
的欧式距离，并将数据点划分到距离最近的一个质心所属的类别中，把所有数据归好类后，一共有k个类；然后通过计算每个聚类样本的均值重新确定每个类的质心
Figure FDA0003132165640000031
5.如权利要求4所述的异常信号半监督分类方法，其特征在于，所述CNN网络将所提取的全部有标签的数据的压缩特征来计算其
Figure FDA0003132165640000032
F＜L每一个类别的均值
Figure FDA0003132165640000033
并将其存放在Memory中；
通过计算K-means得到的新的聚类质心
Figure FDA0003132165640000034
与存放在Memory中的均值
Figure FDA0003132165640000035
的欧式距离来为K-means的聚类结果打上伪标签，即若K-means中某个类的质心
Figure FDA0003132165640000036
与Memory中的某个均值
Figure FDA0003132165640000037
的距离最近，则认为K-means第i类中的所有无标签数据的类别都为Memory中的第j类，此时，K-means聚类结果中的所有无标签数据都有了相应了标签；
将K-means第一次聚类的结果ri和通过CNN网络中间层的输出结果
Figure FDA0003132165640000038
一起输入到CNN网络的分类层，计算K-means的输出与CNN的输出之间的损失，即计算全连接网络的分类结果与K-means聚类结果的交叉熵函数，交叉熵函数定义如下：
Figure FDA0003132165640000039
其中，ri为K-means的聚类输出结果，
Figure FDA00031321656400000310
为CNN分类器的输出结果。
6.如权利要求5所述的异常信号半监督分类方法，其特征在于，将压缩后的异常信号序列
Figure FDA00031321656400000311
作为K-means算法的输入，将每个输入样本按照最小距离原则分配到最近的类中，并使用每个聚类的样本均值更新每个聚类中心，直到聚类中心不再发生变化，即K-means算法的训练目标表示如下：
Figure FDA00031321656400000312
其中，C为质心矩阵，每个输入样本
Figure FDA0003132165640000041
都与伪标签ri关联，这里任一ri都是{0,1}k的某种形式。
所述K-means算法采用调整兰德指数ARI评价指标来判断本次聚类结果和上次聚类结果的相似度，从而判断K-means何时收敛，ARI定义如下：
Figure FDA0003132165640000042
其中，
Figure FDA0003132165640000043
为兰德系数，E为期望。ARI的值越高，聚类结果就越相似，越接近于聚类的收敛性。
7.如权利要求1所述的异常信号半监督分类方法，其特征在于，所述半监督的异常信号分类采用CNN网络和K-means算法交替进行异常信号分类，通过计算K-means聚类输出和卷积神经网络CNN的输出之间的损失来联合更新卷积神经网络CNN分类器的参数w以及映射函数的参数θ，直到找到一个最佳的参数
Figure FDA0003132165640000044
和θ*使迭代过程收敛，以达到用聚类结果来辅助训练分类器的目的，即解决下列问题：
Figure FDA0003132165640000045
其中，
Figure FDA0003132165640000046
为交叉熵损失函数，ri为K-means的聚类输出结果，
Figure FDA0003132165640000047
为CNN分类器的输出结果。
8.一种实施权利要求1～7任意一项所述的异常信号半监督分类方法的异常信号分类系统，其特征在于，所述半监督的异常信号分类系统包括：
模型构建模块，用于构建一个深度学习聚类模型；
模型预训练模块，用于利用少量有标签的异常信号数据预训练一个CNN分类模型；
压缩特征提取模块，用于将异常信号数据作为训练好的CNN模型的输入，通过CNN中间层的映射函数提取输入数据的压缩特征；
参数设置模块，用于对K-means聚类算法的所需参数进行预先设置；
聚类质心获取模块，用于对初始聚类质心和新的聚类质心进行计算；
距离计算模块，用于计算K-means得到的新的聚类质心与存放在Memory中的均值的欧式距离；
参数更新模块，用于利用交叉熵函数损失去更新CNN网络的参数。
9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1～7任意一项所述的异常信号半监督分类方法的步骤。
10.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现权利要求1～7任意一项所述的异常信号半监督分类方法。
CN202110708117.5A 2021-06-24 2021-06-24 一种异常信号半监督分类方法、系统、数据处理终端 Active CN113541834B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110708117.5A CN113541834B (zh) 2021-06-24 2021-06-24 一种异常信号半监督分类方法、系统、数据处理终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110708117.5A CN113541834B (zh) 2021-06-24 2021-06-24 一种异常信号半监督分类方法、系统、数据处理终端

Publications (2)

Publication Number Publication Date
CN113541834A true CN113541834A (zh) 2021-10-22
CN113541834B CN113541834B (zh) 2023-03-03

Family

ID=78125840

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110708117.5A Active CN113541834B (zh) 2021-06-24 2021-06-24 一种异常信号半监督分类方法、系统、数据处理终端

Country Status (1)

Country Link
CN (1) CN113541834B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114205821A (zh) * 2021-11-30 2022-03-18 广州万城万充新能源科技有限公司 基于深度预测编码神经网络的无线射频异常检测方法
CN114254702A (zh) * 2021-12-16 2022-03-29 南方电网数字电网研究院有限公司 母线负荷异常数据识别方法、装置、设备、介质和产品
CN116383737A (zh) * 2023-06-05 2023-07-04 四川大学 基于聚类对比学习的旋转机械故障诊断方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9336302B1 (en) * 2012-07-20 2016-05-10 Zuci Realty Llc Insight and algorithmic clustering for automated synthesis
CN107846326A (zh) * 2017-11-10 2018-03-27 北京邮电大学 一种自适应的半监督网络流量分类方法、系统及设备
CN108764281A (zh) * 2018-04-18 2018-11-06 华南理工大学 一种基于半监督自步学习跨任务深度网络的图像分类方法
CN109034205A (zh) * 2018-06-29 2018-12-18 西安交通大学 基于直推式半监督深度学习的图像分类方法
US20190287230A1 (en) * 2018-03-19 2019-09-19 Kla-Tencor Corporation Semi-supervised anomaly detection in scanning electron microscope images
CN110414587A (zh) * 2019-07-23 2019-11-05 南京邮电大学 基于渐进学习的深度卷积神经网络训练方法与系统
CN110942091A (zh) * 2019-11-15 2020-03-31 武汉理工大学 寻找可靠的异常数据中心的半监督少样本图像分类方法
CN112288034A (zh) * 2020-11-19 2021-01-29 江南大学 一种无线传感器网络半监督在线异常检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9336302B1 (en) * 2012-07-20 2016-05-10 Zuci Realty Llc Insight and algorithmic clustering for automated synthesis
CN107846326A (zh) * 2017-11-10 2018-03-27 北京邮电大学 一种自适应的半监督网络流量分类方法、系统及设备
US20190287230A1 (en) * 2018-03-19 2019-09-19 Kla-Tencor Corporation Semi-supervised anomaly detection in scanning electron microscope images
CN108764281A (zh) * 2018-04-18 2018-11-06 华南理工大学 一种基于半监督自步学习跨任务深度网络的图像分类方法
CN109034205A (zh) * 2018-06-29 2018-12-18 西安交通大学 基于直推式半监督深度学习的图像分类方法
CN110414587A (zh) * 2019-07-23 2019-11-05 南京邮电大学 基于渐进学习的深度卷积神经网络训练方法与系统
CN110942091A (zh) * 2019-11-15 2020-03-31 武汉理工大学 寻找可靠的异常数据中心的半监督少样本图像分类方法
CN112288034A (zh) * 2020-11-19 2021-01-29 江南大学 一种无线传感器网络半监督在线异常检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
FAQUAN YANG等: "Method of modulation recognition based on combination algorithm of K-means clustering and grading training SVM", 《CHINA COMMUNICATIONS》 *
ZHIGANG LING等: "Semi-Supervised Learning via Convolutional Neural Network for Hyperspectral Image Classification", 《2018 24TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR)》 *
唐海贤等: "基于C-LSTM的传感器数据流半监督在线异常检测算法", 《传感技术学报》 *
许勐璠等: "基于半监督学习和信息增益率的入侵检测方案", 《计算机研究与发展》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114205821A (zh) * 2021-11-30 2022-03-18 广州万城万充新能源科技有限公司 基于深度预测编码神经网络的无线射频异常检测方法
CN114205821B (zh) * 2021-11-30 2023-08-08 广州万城万充新能源科技有限公司 基于深度预测编码神经网络的无线射频异常检测方法
CN114254702A (zh) * 2021-12-16 2022-03-29 南方电网数字电网研究院有限公司 母线负荷异常数据识别方法、装置、设备、介质和产品
CN116383737A (zh) * 2023-06-05 2023-07-04 四川大学 基于聚类对比学习的旋转机械故障诊断方法及系统
CN116383737B (zh) * 2023-06-05 2023-08-11 四川大学 基于聚类对比学习的旋转机械故障诊断方法及系统

Also Published As

Publication number Publication date
CN113541834B (zh) 2023-03-03

Similar Documents

Publication Publication Date Title
US20210089922A1 (en) Joint pruning and quantization scheme for deep neural networks
CN113541834B (zh) 一种异常信号半监督分类方法、系统、数据处理终端
CN113378632B (zh) 一种基于伪标签优化的无监督域适应行人重识别方法
Feng et al. Convolutional neural network based on bandwise-independent convolution and hard thresholding for hyperspectral band selection
CN107256245B (zh) 面向垃圾短信分类的离线模型改进与选择方法
CN103150580B (zh) 一种高光谱图像半监督分类方法及装置
Zhou et al. Deep forest hashing for image retrieval
US20210158166A1 (en) Semi-structured learned threshold pruning for deep neural networks
CN110942091B (zh) 寻找可靠的异常数据中心的半监督少样本图像分类方法
CN109063719B (zh) 一种联合结构相似性和类信息的图像分类方法
CN105930856A (zh) 基于改进dbscan-smote算法的分类方法
CN110309868A (zh) 结合无监督学习的高光谱图像分类方法
CN113408605A (zh) 基于小样本学习的高光谱图像半监督分类方法
US20230153577A1 (en) Trust-region aware neural network architecture search for knowledge distillation
CN110287985B (zh) 一种基于带变异粒子群算法的可变拓扑结构的深度神经网络图像识别方法
US20220101133A1 (en) Dynamic quantization for energy efficient deep learning
CN112163114B (zh) 一种基于特征融合的图像检索方法
Tao et al. RDEC: integrating regularization into deep embedded clustering for imbalanced datasets
Al-Gaashani et al. Ensemble learning of lightweight deep convolutional neural networks for crop disease image detection
Perenda et al. Evolutionary optimization of residual neural network architectures for modulation classification
Rui et al. Smart network maintenance in an edge cloud computing environment: An adaptive model compression algorithm based on model pruning and model clustering
CN112651424A (zh) 基于lle降维和混沌算法优化的gis绝缘缺陷识别方法及系统
CN114467098A (zh) 用于深度神经网络的经学习阈值修剪
Pemila et al. An Efficient Classification for Light Motor Vehicles using CatBoost Algorithm
CN115374859A (zh) 一种针对非平衡、多类别的复杂工业数据的分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant