CN112188532A - 网络异常检测模型的训练方法、网络检测方法及装置 - Google Patents

网络异常检测模型的训练方法、网络检测方法及装置 Download PDF

Info

Publication number
CN112188532A
CN112188532A CN201910589366.XA CN201910589366A CN112188532A CN 112188532 A CN112188532 A CN 112188532A CN 201910589366 A CN201910589366 A CN 201910589366A CN 112188532 A CN112188532 A CN 112188532A
Authority
CN
China
Prior art keywords
sample data
network
training
anomaly detection
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910589366.XA
Other languages
English (en)
Inventor
马红艳
王捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Group Guizhou Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Group Guizhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Group Guizhou Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201910589366.XA priority Critical patent/CN112188532A/zh
Publication of CN112188532A publication Critical patent/CN112188532A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/04—Arrangements for maintaining operational condition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0677—Localisation of faults
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Multimedia (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明实施例公开了一种网络异常检测模型的训练方法、网络检测方法及装置，其中，该训练方法包括：获取基站小区在时间和空间上的多个样本数据；基于多个样本数据进行聚类训练，确定正样本数据和负样本数据，聚类训练后的离群点对应的样本数据为负样本数据，聚类训练后的非离群点对应的样本数据为正样本数据；将多个样本数据作为网络异常检测模型的输入，将多个样本对应的正负样本标签作为网络异常检测模型的输出，对网络异常检测模型训练，网络异常检测模型用于检测基站小区在通信场景下的多个维度的网络性能指标是否正常。本发明实施例解决现有技术中对通信网络进行检测的准确性比较低的问题。

Description

网络异常检测模型的训练方法、网络检测方法及装置
技术领域
本发明实施例涉及通信技术领域，尤其涉及一种网络异常检测模型的训练方法、网络检测方法及装置。
背景技术
一般，现有的处理移动通信网络中异常状态信息的方法大多数是采用“传统数据分析”的方法，但是，在采用传统数据分析的方式中，一般分析性能指标只用到了门限值，因此，该方法无法保证对通信网络进行检测的准确性。
发明内容
本发明实施例提供一种网络异常检测模型的训练方法、网络检测方法及装置，以解决现有技术中对通信网络进行检测的准确性比较低的问题。
为解决上述技术问题，本发明是这样实现的：
第一方面，提供一种基站小区的网络异常检测模型的训练方法，包括：
获取基站小区在时间和空间上的多个样本数据，所述样本数据包括多个维度的网络性能指标；
基于所述多个样本数据进行聚类训练，以确定正样本数据和负样本数据，其中，聚类训练后的离群点对应的样本数据为负样本数据，聚类训练后的非离群点对应的样本数据为正样本数据；
将所述多个样本数据作为网络异常检测模型的输入，将所述多个样本数据对应的正负样本标签作为所述网络异常检测模型的输出，对所述网络异常检测模型进行训练，所述网络异常检测模型用于检测所述基站的小区的通信场景下的多个维度的网络性能指标是否正常。
第二方面，提供一种基站小区的网络检测方法，其包括：
获取基站小区在时间和空间上的多个样本数据，所述样本数据包括多个维度的网络性能指标；
将所述样本数据输入网络异常检测模型，以对所述样本数据对应的应用场景的网络性能指标进行异常检测，其中，所述网络异常检测模型基于历史样本数据和历史样本数据对应的正负样本标签训练得到，所述历史样本数据与所述样本数据具有相同维度的网络性能指标，所述历史样本数据对应的正负样本标签基于多个历史样本数据进行聚类训练以对离群点历史样本数据和非离群点历史样本数据分类得到。
第三方面，提供一种基站小区的网络异常检测模型的训练装置，其包括：
获取单元，用于获取基站小区在时间和空间上的多个样本数据，所述样本数据包括多个维度的网络性能指标；
确定单元，用于基于所述多个样本数据进行聚类训练，以确定正样本数据和负样本数据，其中，聚类训练后的离群点对应的样本数据为负样本数据，聚类训练后的非离群点对应的样本数据为正样本数据；
处理单元，用于将所述多个样本数据作为网络异常检测模型的输入，将所述多个样本数据对应的正负样本标签作为所述网络异常检测模型的输出，对所述网络异常检测模型进行训练，所述网络异常检测模型用于检测所述基站的小区的通信场景下的多个维度的网络性能指标是否正常。
第四方面，提供一种基站小区的网络检测装置，其包括：
第一获取单元，用于获取基站小区在时间和空间上的多个样本数据，所述样本数据包括多个维度的网络性能指标；
检测单元，用于将所述样本数据输入网络异常检测模型，以对所述样本数据对应的应用场景的网络性能指标进行异常检测，其中，所述网络异常检测模型基于历史样本数据和历史样本数据对应的正负样本标签训练得到，所述历史样本数据与所述样本数据具有相同维度的网络性能指标，所述历史样本数据对应的正负样本标签基于多个历史样本数据进行聚类训练以对离群点历史样本数据和非离群点历史样本数据分类得到。
第五方面，还提供一种训练设备，其包括：
存储器，存储有计算机程序指令；
处理器，当所述计算机程序指令被所述处理器执行时实现如第一方面所述的训练方法。
第六方面，还提供一种检测设备，其包括：
存储器，存储有计算机程序指令；
处理器，当所述计算机程序指令被所述处理器执行时实现如第二方面所述的检测方法。
第七方面，还提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的训练方法。
第八方面，还提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第二方面所述的检测方法。
在本发明实施例中，基站小区的网络异常检测模型的训练方法通过对获取的基站小区在时间和空间上的多个样本数据进行聚类训练，将聚类训练后的离群点对应的样本数据确定为负样本数据，并将聚类训练后的非离群点对应的样本数据确定为正样本数据，并将多个样本数据作为网络异常检测模型的输入，将所述多个样本对应的正负样本标签作为网络异常检测模型的输出，对网络异常检测模型进行训练，以使得训练后的网络异常检测模型对基站小区在通信场景下的多个维度的网络性质指标数据进行检测，从而确定所检测的网络性能指标数据是否正常。如此，通过本发明实施例的训练方法训练得到的网络异常检测模型对基站小区在通信场景下的多个维度的网络性质指标数据进行检测，综合分析移动通信网络中各个场景涉及指标的特性，并利用监督学习方式自动检测通信网络异常状态，以达到准确确定网络异常场景的目的，从而解决了现有技术中对通信网络进行检测的准确性比较低的问题。
附图说明
图1是根据本发明一个实施例的基站小区的网络异常检测模型的训练方法的示意性流程图；
图2是根据本发明另一个实施例的基站小区的网络异常检测模型的训练方法的示意性流程图；
图3是根据本发明一个实施例的样本数据的正态分布曲线图；
图4是根据本发明一个实施例的利用局部异常因子算法对多个样本数据进行聚类训练的示意性原理图；
图5是根据本发明另一个实施例的利用局部异常因子算法对多个样本数据进行聚类训练的示意性原理图；
图6是根据本发明再一个实施例的利用局部异常因子算法对多个样本数据进行聚类训练的示意性原理图；
图7是根据本发明一个具体实施例的利用局部异常因子算法对多个样本数据进行聚类训练的示意性原理图；
图8是根据本发明一个实施例的对正负样本数据分类的示意性原理图；
图9是根据本发明一个实施例的对待测数据进行测试的示意性原理图；
图10是根据本发明另一个实施例的对待测数据进行测试的示意性原理图；
图11是根据本发明一个实施例的基站小区的网络检测方法的示意性流程图；
图12是根据本发明另一个实施例的基站小区的网络检测方法的示意性流程图；
图13是根据本发明一个实施例的基站小区的网络异常检测模型的训练装置的示意性结构框图；
图14是根据本发明一个实施例的基站小区的网络检测装置的示意性结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下结合附图，详细说明本发明各实施例提供的技术方案。
现有的处理移动通信网络中异常状态信息大多采用“传统数据分析”的方法，但该方法一般分析性能指标只用到了门限值，因此，该方法无法保证对通信网络进行检测的准确性。有的采用繁杂的“传统阈值与聚类结合”方式对通信网络异常状态信息进行检测，但该方法步骤繁琐，无法迅速定位网络状态异常的类别。现有的也有采用“多维数据”方法对通信网络异常状态信息进行检测，但该方法对多维数据的处理不够智能，只判断是否异常而无法定位到网络状态异常的类别与原因。
为解决上述技术问题，如图1所示，本发明实施例提供了一种基站小区的网络异常检测模型的训练方法，包括：
步骤102.获取基站小区在时间和空间上的多个样本数据，样本数据包括多个维度的网络性能指标。
如图2所示，获取基站小区在时间和空间上的多个样本数据，包括：
步骤202.获取基站小区在时间和空间上的网络性能指标数据。
可通过python中的csv模块中reader()函数读取csv文件的所有行数据，然后通过逐行遍历行首，获取每个字段的含义(给定的csv格式数据中，每个字段的含义是在行首的)，提取表中每个字段的名称，以下行用户平均速率涉及字段为例，小区PDCP层发送下行数据的业务总时长PDCP.ThrpTimeDL和小区用户面下行字节数PDCP.UpOctDl)；最后，为了在多个字段中获取特定的字段数据，通过字段比较，提取每一个字段名下的整列数据，从而获取基站小区在时间和空间上的网络性能指标数据。
步骤204.对网络性能指标数据进行预处理，以得到样本数据。其中，样本数据符合正态分布。
其中，具体的数据预处理过程可以为：
首先，当提取基站小区在时间和空间上的网络性能指标数据后，需要对提取的数据进行空值过滤处理，需要注意的是，需要保证不同字段的相同位置的数据值具有相同的过滤操作，否则会导致数据对不齐而造成数据统计不正确，然后根据KPI计算公式对过滤后的数据逐行求其结果。
然后，对过滤后的数据进行分布直方图统计，具体可通过python中matplotlib.pyplot模块的hist()函数，设置统计区间数目和每个区间的范围即可对由KPI计算得出的结果统计出概率密度图。
最周，对统计出的概率密度图进行分布曲线拟合。根据KPI计算结果得到的均值和方差，通过python中scipy.stats模块scipy.stats.norm.pdf()进行曲线拟合，从而可以得到符合或基本符合正态分布的样本数据，如图3所示。
步骤104.基于多个样本数据进行聚类训练，以确定正样本数据和负样本数据，其中，聚类训练后的离群点对应的样本数据为负样本数据，聚类训练后的非离群点对应的样本数据为正样本数据。
利用机器学习的局部异常因子算法(LOF)方法，对多个样本数据在多维空间上进行聚类训练，以找出样本数据中的异常点。
其中，局部异常因子LOF算法是一种基于距离的异常检测算法，如图4所示，对于C1集合的点，整体间距、密度、分散情况较为均匀一致，可以认为是同一簇；对于C2集合的点，同样也可认为是一簇。而o1、o2点相对孤立，则可以认为是异常点或离散点。现在的问题是，如何实现算法的通用性，可以满足C1和C2这种密度分散情况迥异的集合的异常点识别。
其中，LOF算法的相关定义：
(1)d(p,o)表示两点p和o之间的距离；
(2)第k距离(k-distance):对于点p的第k距离dk(p)定义如下：
dk(p)＝d(p，o)，并且满足：
a).在集合中至少有不包括点p在内的k个点o,∈C{x≠p}，满足d(p，o,)≤d(p，o)；
b).在集合中最多有不包括点p在内的k-1个点o,∈C{x≠p}，满足d(p，o,)<d(p，o)；
其中，点p的第k距离，也就是距离点p第k远的点的距离，不包括点p，如图5所示。
(3)第k距离邻域(k-distance neighborhood of p)
点p的第k距离邻域Nk(p)，即点p的第k距离即以内的所有点，包括第k距离。因此，点p的第k邻域点的个数|Nk(p)|≥k。
(4)点o到点p的第k可达距离(reach-distance)定义为：
Reach-distancek(p,o)＝max{k-distance(o),d(p,o)}
也就是说，点o到点p的第k可达距离，至少是o的第k距离，或者为点o、点p间的真实距离。这也意味着，离点o最近的k个点，点o到它们的可达距离被认为相等，且都等于dk(o)。如图6所示，点o1到点p的第5可达距离为d(p，o1)，o2到点p的第5可达距离为d5(o2)。
(5)点p的局部可达密度(local reachability density)如公式(1)所示：
Figure BDA0002115595350000071
lrdk(p)表示点p的第k邻域内点到p的平均可达距离的倒数。即，如果点p和周围邻域点是同一簇，那么可达距离越可能为较小的dk(o)，导致可达距离之和较小，密度值较高；如果点p和周围邻居点较远，那么可达距离可能都会取较大值d(p,o)，导致密度较小，越可能是离群点(异常点)。
(6)点p的局部离群因子(local outlier factor)如公式(2)所示：
Figure BDA0002115595350000081
由公式(2)可知，如果这个比值即LOFk(p)越接近1，说明点p的其邻域点密度差不多，点p可能和邻域同属一簇；如果这个比值越小于1，说明点p的密度高于其邻域点密度，点p为密集点；如果这个比值越大于1，说明点p的密度小于其邻域点密度，点p越可能是异常点。
综上分析可知，局部异常因子LOF算法的思想，主要通过比较每个点p和其邻域点的密度来判定该点是否为异常点，如果点p的密度越低，越可能被认定是异常点。至于密度，则通过点之间的距离来计算，点之间距离越远，密度越低，距离越近，密度越高。而且，由于对密度的计算是通过点的第k邻域来计算，而不是全局计算，因此定义为“局部”异常因子，如此，对于图4的两种数据集C1和C2，局部异常因子LOF算法完全可以正确处理，而不会因为数据密度分散情况不同而错误地将正常点判定为异常点。
以LOF算法对样本数据在多维空间上进行聚类，以粗分类找出异常点(即离散点)。以下行用户平均速率的异常检测结果为例，如图7所示，其中圈外点代表异常点，圈内点代表正常点。
步骤106.将多个样本数据作为网络异常检测模型的输入，将多个样本数据对应的正负样本标签作为网络异常检测模型的输出，对网络异常检测模型进行训练，网络异常检测模型用于检测基站的小区的通信场景下的多个维度的网络性能指标是否正常。其中，多个样本数据对应的正负样本标签可基于多个样本数据进行聚类训练以对离群点样本数据和非离群点样本数据分类得到，并且，一个样本数据对应的正负样本标签，要么为正样本标签，要么为负样本标签。
换句话说，在检测到离群点后，对离群点进行分类预测，将离群点进行细分类，从而定位到离群点的具体类别，完成离群点粗分类到细分类的过程。
具体而言，可利用机器学习算法对网络异常检测模型进行训练，以通过训练得到的网络异常检测模型检测基站小区在通信场景下的多个维度的网络性能指标是否正常，具体实现过程可以为：
首先，将聚类训练得到的负样本数据(离群点数据，即告警数据)和正样本(正常数据，非告警场景的数据)，将负、正样本数据分别作为训练和测试数据集。其中，可利用基站内小区的在时间维度和空间维度对的一个样本数据进行划分，比如，在时间维度上选取单个小区五到十天内所有的数据，在空间维度上选取本基站内所有小区和临近基站的小区进行指标归整，并进行预处理。
其次，量化指标：提取训练数据集和测试数据集，利用机器学习支持向量机SVM方法进行分类模型的训练。SVM模型学习并更新模型参数，利用SGD随机梯度下降方法，不断接近分类边界最有解，如图8所示，正确区分正负样本数据并得到最优的“分界线”。如图8中的两根虚线范围内逼近实线处的数据为最优结果，如此，以完成正负样本数据的分类。
然后，将待测试的数据输入至网络异常检测模型，利用训练好的网络异常检测模型进行测试，并输出最后的分类结果，如图9所示，网络异常检测模型会根据训练得到的参数模型计算各个指标的得分结果的概率值，并根据结果输出概率值最高的预测结果。图9中的圆点代表正常数据，正方形点代表告警数据。
综合上述实施例的分析可知，基站小区的网络异常检测模型的训练方法通过对获取的基站小区在时间和空间上的多个样本数据进行聚类训练，将聚类训练后的离群点对应的样本数据确定为负样本数据，并将聚类训练后的非离群点对应的样本数据确定为正样本数据，并将多个样本数据作为网络异常检测模型的输入，将所述多个样本对应的正负样本标签作为网络异常检测模型的输出，对网络异常检测模型进行训练，以使得训练后的网络异常检测模型对基站小区在通信场景下的多个维度的网络性质指标数据进行检测，从而确定所检测的网络性能指标数据是否正常。如此，通过本发明实施例的训练方法训练得到的网络异常检测模型对基站小区在通信场景下的多个维度的网络性质指标数据进行检测，综合分析移动通信网络中各个场景涉及指标的特性，并利用监督学习方式自动检测通信网络异常状态，以达到准确确定网络异常场景的目的，从而解决了现有技术中对通信网络进行检测的准确性比较低的问题。
此外，可根据分类预测结果，对基站小区的告警数据持续跟踪，判断在一定时间维度上告警数据是否持续存在，如果超过时间阈值，则发出报警。基于分类预测，可以看到该站点在告警时段和非告警时段的特征值有明显的区别，同时段业务量接近同覆盖场景告警小区与非告警小区的特征值有明显区别。
如此，根据小区指标信息，利用算法取出异常点，如图10所示，灰色表示是异常点，黑色表示正常点。
本发明实施例的方法利用机器学习算法对移动通信网进行异常与报警检测分类，实现了智能分析，并采用机器学习才可以实现无人工干预和先验基础的自动预测分类，从而可以解决现有技术对网络异常状态信息检测的过程繁琐以及不够智能，而无法定位到网络状态异常的类别与原因的问题。
此外，本发明实施例的方法可以对多维数据在统计、分类和预测等角度同时分析，研究面广。机器学习模型可以输入多维数据，给多维数据建模分析。基于大数据背景，利用机器学习算法对网络异常检测模型训练，从而提高模型识别的准确率。
本发明实施例还提供一种基站小区的网络检测方法，如图11所示，包括：
步骤1102.获取基站小区在时间和空间上的多个样本数据，样本数据包括多个维度的网络性能指标。
步骤1104.将样本数据输入网络异常检测模型，以对样本数据对应的应用场景的网络性能指标进行异常检测。
其中，网络异常检测模型基于历史样本数据和历史样本数据对应的正负样本标签训练得到，历史样本数据与样本数据具有相同维度的网络性能指标，历史样本数据对应的正负样本标签基于多个历史样本数据进行聚类训练以对离群点历史样本数据和非离群点历史样本数据分类得到。
由于网络异常检测模型是基于历史样本数据和历史样本数据对应的正负样本标签训练得到，并且历史样本数据对应的正负样本标签基于多个历史样本数据进行聚类训练以对离群点历史样本数据和非离群点历史样本数据分类得到，因此，基站小区的网络检测方法通过将获取的基站小区在时间和空间上的多个样本数据输入训练得到的网络异常检测模型，实现对样本数据对应的应用场景的网络性能指标的异常检测，以达到准确确定网络异常场景的目的，从而解决了现有技术中对通信网络进行检测的准确性比较低的问题。
此外，本发明实施例的方法利用机器学习算法对移动通信网进行异常与报警检测分类，实现了智能分析，并采用机器学习才可以实现无人工干预和先验基础的自动预测分类，从而可以解决现有技术对网络异常状态信息检测的过程繁琐以及不够智能，而无法定位到网络状态异常的类别与原因的问题。
在上述实施例中，如图12所示，在将样本数据输入网络异常检测模型，以对样本数据对应的应用场景的网络性能指标进行异常检测之前，包括：
步骤1202.获取历史样本数据。
步骤1204.基于历史样本数据进行聚类训练，确定正样本数据和负样本数据，其中，聚类训练后的离群点对应的样本数据为负样本数据，聚类训练后的非离群点对应的样本数据为正样本数据。
步骤1206.基于训练参数对正样本数据和负样本数据进行训练，以得到网络异常检测模型。
如此，通过历史样本数据聚类训练得到确定正样本数据和负样本数据，并利用机器学习算法对正样本数据和负样本数据训练，以准确地得到网络异常检测模型，从而通过训练得到的网络异常检测模型对基站小区的网络指标性能数据是否出现异常进行检测，以及异常的类型进行预测，解决了现有技术中对通信网络进行检测的准确性比较低的问题，并可解决现有技术对网络异常状态信息检测的过程繁琐以及不够智能，而无法定位到网络状态异常的类别与原因的问题。
本发明实施例提供一种基站小区的网络异常检测模型的训练装置，如图13所示，其包括：获取单元1302，用于获取基站小区在时间和空间上的多个样本数据，样本数据包括多个维度的网络性能指标；确定单元1304，用于基于多个样本数据进行聚类训练，以确定正样本数据和负样本数据，其中，聚类训练后的离群点对应的样本数据为负样本数据，聚类训练后的非离群点对应的样本数据为正样本数据；处理单元1306，用于将多个样本数据作为网络异常检测模型的输入，将多个样本数据对应的正负样本标签作为网络异常检测模型的输出，对网络异常检测模型进行训练，网络异常检测模型用于检测基站的小区的通信场景下的多个维度的网络性能指标是否正常。其中，获取单元1302还用于获取基站小区在时间和空间上的网络性能指标数据，并对网络性能指标数据进行预处理，以得到样本数据。此外，经过预处理后得到的样本数据符合或基本符合正态分布。
基站小区的网络异常检测模型的训练装置通过获取单元1302对获取的基站小区在时间和空间上的多个样本数据进行聚类训练，通过确定单元1304将聚类训练后的离群点对应的样本数据确定为负样本数据，将聚类训练后的非离群点对应的样本数据确定为正样本数据，并通过处理单元1306将多个样本数据作为网络异常检测模型的输入，将多个样本数据对应的正负样本标签作为网络异常检测模型的输出，对网络异常检测模型进行训练，以使得训练后的网络异常检测模型对基站小区在通信场景下的多个维度的网络性质指标数据进行检测，从而确定所检测的网络性能指标数据是否正常。如此，通过本发明实施例的训练装置训练得到的网络异常检测模型对基站小区在通信场景下的多个维度的网络性质指标数据进行检测，综合分析移动通信网络中各个场景涉及指标的特性，并利用监督学习方式自动检测通信网络异常状态，以达到准确确定网络异常场景的目的，从而解决了现有技术中对通信网络进行检测的准确性比较低的问题。
本发明实施例还提供一种基站小区的网络检测装置，如图14所示，包括：第一获取单元1402，用于获取基站小区在时间和空间上的多个样本数据，样本数据包括多个维度的网络性能指标；检测单元1404，用于将样本数据输入网络异常检测模型，以对样本数据对应的应用场景的网络性能指标进行异常检测，其中，网络异常检测模型基于历史样本数据和历史样本数据对应的正负样本标签训练得到，历史样本数据与样本数据具有相同维度的网络性能指标，历史样本数据对应的正负样本标签基于多个历史样本数据进行聚类训练以对离群点历史样本数据和非离群点历史样本数据分类得到。
由于网络异常检测模型是基于历史样本数据和历史样本数据对应的正负样本标签训练得到，并且历史样本数据对应的正负样本标签基于多个历史样本数据进行聚类训练以对离群点历史样本数据和非离群点历史样本数据分类得到，因此，基站小区的网络检测装置通过检测单元1404将通过第一获取单元1402获取的基站小区在时间和空间上的多个样本数据输入训练得到的网络异常检测模型，实现对样本数据对应的应用场景的网络性能指标的异常检测，以达到准确确定网络异常场景的目的，从而解决了现有技术中对通信网络进行检测的准确性比较低的问题。
在上述实施例中，基站小区的网络检测装置还包括第二获取单元1406，用于获取历史样本数据；第一确定单元1408，用于基于历史样本数据进行聚类训练，确定正样本数据和负样本数据，其中，聚类训练后的离群点对应的样本数据为负样本数据，聚类训练后的非离群点对应的样本数据为正样本数据；第一处理单元1410，用于基于训练参数对正样本数据和负样本数据进行训练，以得到网络异常检测模型。
如此，通过历史样本数据聚类训练得到确定正样本数据和负样本数据，并利用机器学习算法对正样本数据和负样本数据训练，以准确地得到网络异常检测模型，从而通过训练得到的网络异常检测模型对基站小区的网络指标性能数据是否出现异常进行检测，以及异常的类型进行预测，解决了现有技术中对通信网络进行检测的准确性比较低的问题，并可解决现有技术对网络异常状态信息检测的过程繁琐以及不够智能，而无法定位到网络状态异常的类别与原因的问题。
本发明实施例还提供一种训练设备，其包括：存储器，存储有计算机程序指令；处理器，当所述计算机程序指令被所述处理器执行时实现上述图1至图2所示的训练方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例还提供一种检测设备，其包括：存储器，存储有计算机程序指令；处理器，当所述计算机程序指令被所述处理器执行时实现上述图11至图12所示的检测方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质包括指令，当所述指令在计算机上运行时，使得计算机执行时实现上述图1至图2所示的方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质包括指令，当所述指令在计算机上运行时，使得计算机执行时实现上述图11至图12所示的方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (10)

1.一种基站小区的网络异常检测模型的训练方法，其特征在于，包括：
获取基站小区在时间和空间上的多个样本数据，所述样本数据包括多个维度的网络性能指标；
基于所述多个样本数据进行聚类训练，以确定正样本数据和负样本数据，其中，聚类训练后的离群点对应的样本数据为负样本数据，聚类训练后的非离群点对应的样本数据为正样本数据；
将所述多个样本数据作为网络异常检测模型的输入，将所述多个样本数据对应的正负样本标签作为所述网络异常检测模型的输出，对所述网络异常检测模型进行训练，所述网络异常检测模型用于检测所述基站的小区在通信场景下的多个维度的网络性能指标是否正常。
2.如权利要求1所述的训练方法，其特征在于，获取基站小区在时间和空间上的多个样本数据，包括：
获取基站小区在时间和空间上的网络性能指标数据；
对所述网络性能指标数据进行预处理，以得到所述样本数据。
3.如权利要求1或2所述的训练方法，其特征在于：
所述样本数据符合正态分布。
4.一种基站小区的网络检测方法，其特征在于，包括：
获取基站小区在时间和空间上的多个样本数据，所述样本数据包括多个维度的网络性能指标；
将所述样本数据输入网络异常检测模型，以对所述样本数据对应的应用场景的网络性能指标进行异常检测，其中，所述网络异常检测模型基于历史样本数据和历史样本数据对应的正负样本标签训练得到，所述历史样本数据与所述样本数据具有相同维度的网络性能指标，所述历史样本数据对应的正负样本标签基于多个历史样本数据进行聚类训练以对离群点历史样本数据和非离群点历史样本数据分类得到。
5.如权利要求4所述的网络检测方法，其特征在于，在将所述样本数据输入网络异常检测模型，以对所述样本数据对应的应用场景的网络性能指标进行异常检测之前，包括：
获取所述历史样本数据；
基于所述历史样本数据进行聚类训练，确定正样本数据和负样本数据，其中，聚类训练后的离群点对应的样本数据为负样本数据，聚类训练后的非离群点对应的样本数据为正样本数据；
基于训练参数对所述正样本数据和所述负样本数据进行训练，以得到所述网络异常检测模型。
6.一种基站小区的网络异常检测模型的训练装置，其特征在于，包括：
获取单元，用于获取基站小区在时间和空间上的多个样本数据，所述样本数据包括多个维度的网络性能指标；
确定单元，用于基于所述多个样本数据进行聚类训练，以确定正样本数据和负样本数据，其中，聚类训练后的离群点对应的样本数据为负样本数据，聚类训练后的非离群点对应的样本数据为正样本数据；
处理单元，用于将所述多个样本数据作为网络异常检测模型的输入，将所述多个样本数据对应的正负样本标签作为所述网络异常检测模型的输出，对所述网络异常检测模型进行训练，所述网络异常检测模型用于检测所述基站的小区的通信场景下的多个维度的网络性能指标是否正常。
7.一种基站小区的网络检测装置，其特征在于，包括：
第一获取单元，用于获取基站小区在时间和空间上的多个样本数据，所述样本数据包括多个维度的网络性能指标；
检测单元，用于将所述样本数据输入网络异常检测模型，以对所述样本数据对应的应用场景的网络性能指标进行异常检测，其中，所述网络异常检测模型基于历史样本数据和历史样本数据对应的正负样本标签训练得到，所述历史样本数据与所述样本数据具有相同维度的网络性能指标，所述历史样本数据对应的正负样本标签基于多个历史样本数据进行聚类训练以对离群点历史样本数据和非离群点历史样本数据分类得到。
8.一种训练设备，其特征在于，包括：
存储器，存储有计算机程序指令；
处理器，当所述计算机程序指令被所述处理器执行时实现如权利要求1-3任一项所述的训练方法。
9.一种检测设备，其特征在于，包括：
存储器，存储有计算机程序指令；
处理器，当所述计算机程序指令被所述处理器执行时实现如权利要求4-5任一项所述的检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1-3中任一项所述的训练方法。
CN201910589366.XA 2019-07-02 2019-07-02 网络异常检测模型的训练方法、网络检测方法及装置 Pending CN112188532A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910589366.XA CN112188532A (zh) 2019-07-02 2019-07-02 网络异常检测模型的训练方法、网络检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910589366.XA CN112188532A (zh) 2019-07-02 2019-07-02 网络异常检测模型的训练方法、网络检测方法及装置

Publications (1)

Publication Number Publication Date
CN112188532A true CN112188532A (zh) 2021-01-05

Family

ID=73914285

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910589366.XA Pending CN112188532A (zh) 2019-07-02 2019-07-02 网络异常检测模型的训练方法、网络检测方法及装置

Country Status (1)

Country Link
CN (1) CN112188532A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379176A (zh) * 2020-03-09 2021-09-10 中国移动通信集团设计院有限公司 电信网络异常数据检测方法、装置、设备和可读存储介质
CN114629681A (zh) * 2022-01-28 2022-06-14 云南电网有限责任公司信息中心 一种基于随机傅里叶核函数的异常流量检测方法
CN114866297A (zh) * 2022-04-20 2022-08-05 中国科学院信息工程研究所 网络数据检测方法、装置、电子设备及存储介质
CN115277439A (zh) * 2021-04-30 2022-11-01 中国移动通信集团有限公司 网络服务的检测方法、装置、电子设备及存储介质
CN115334559A (zh) * 2022-08-19 2022-11-11 中国联合网络通信集团有限公司 网络检测方法、装置、设备及介质
CN116170829A (zh) * 2023-04-26 2023-05-26 浙江省公众信息产业有限公司 一种独立专网业务的运维场景识别方法及装置
CN117579400A (zh) * 2024-01-17 2024-02-20 国网四川省电力公司电力科学研究院 一种基于神经网络的工控系统网络安全监测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090186610A1 (en) * 2008-01-22 2009-07-23 Ofer Avni Method for detecting events on cellular comm. network
US20160127405A1 (en) * 2014-10-29 2016-05-05 Ricoh Company, Ltd. Information processing system, information processing apparatus, and information processing method
CN108632279A (zh) * 2018-05-08 2018-10-09 北京理工大学 一种基于网络流量的多层异常检测方法
CN109032829A (zh) * 2018-07-23 2018-12-18 腾讯科技（深圳）有限公司 数据异常检测方法、装置、计算机设备及存储介质
US20190132224A1 (en) * 2017-10-26 2019-05-02 Accenture Global Solutions Limited Systems and methods for identifying and mitigating outlier network activity

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090186610A1 (en) * 2008-01-22 2009-07-23 Ofer Avni Method for detecting events on cellular comm. network
US20160127405A1 (en) * 2014-10-29 2016-05-05 Ricoh Company, Ltd. Information processing system, information processing apparatus, and information processing method
US20190132224A1 (en) * 2017-10-26 2019-05-02 Accenture Global Solutions Limited Systems and methods for identifying and mitigating outlier network activity
CN108632279A (zh) * 2018-05-08 2018-10-09 北京理工大学 一种基于网络流量的多层异常检测方法
CN109032829A (zh) * 2018-07-23 2018-12-18 腾讯科技（深圳）有限公司 数据异常检测方法、装置、计算机设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王捷 等: "基于多元高斯分布的数据质量波动监测模型研究", 《电信工程技术与标准化》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379176A (zh) * 2020-03-09 2021-09-10 中国移动通信集团设计院有限公司 电信网络异常数据检测方法、装置、设备和可读存储介质
CN115277439A (zh) * 2021-04-30 2022-11-01 中国移动通信集团有限公司 网络服务的检测方法、装置、电子设备及存储介质
CN115277439B (zh) * 2021-04-30 2023-09-19 中国移动通信集团有限公司 网络服务的检测方法、装置、电子设备及存储介质
CN114629681A (zh) * 2022-01-28 2022-06-14 云南电网有限责任公司信息中心 一种基于随机傅里叶核函数的异常流量检测方法
CN114866297A (zh) * 2022-04-20 2022-08-05 中国科学院信息工程研究所 网络数据检测方法、装置、电子设备及存储介质
CN115334559A (zh) * 2022-08-19 2022-11-11 中国联合网络通信集团有限公司 网络检测方法、装置、设备及介质
CN116170829A (zh) * 2023-04-26 2023-05-26 浙江省公众信息产业有限公司 一种独立专网业务的运维场景识别方法及装置
CN116170829B (zh) * 2023-04-26 2023-07-04 浙江省公众信息产业有限公司 一种独立专网业务的运维场景识别方法及装置
CN117579400A (zh) * 2024-01-17 2024-02-20 国网四川省电力公司电力科学研究院 一种基于神经网络的工控系统网络安全监测方法及系统
CN117579400B (zh) * 2024-01-17 2024-03-29 国网四川省电力公司电力科学研究院 一种基于神经网络的工控系统网络安全监测方法及系统

Similar Documents

Publication Publication Date Title
CN112188532A (zh) 网络异常检测模型的训练方法、网络检测方法及装置
CN110263846B (zh) 基于故障数据深度挖掘及学习的故障诊断方法
CN111181939B (zh) 一种基于集成学习的网络入侵检测方法及装置
CN111553127B (zh) 一种多标记的文本类数据特征选择方法及装置
JP2019521443A (ja) 適応型追加学習を用いた細胞のアノテーション法及びアノテーションシステム
US7716152B2 (en) Use of sequential nearest neighbor clustering for instance selection in machine condition monitoring
CN111353373A (zh) 一种相关对齐域适应故障诊断方法
CN110942099A (zh) 一种基于核心点保留的dbscan的异常数据识别检测方法
CN109995611B (zh) 流量分类模型建立及流量分类方法、装置、设备和服务器
CN106935038B (zh) 一种停车检测系统及检测方法
CN105654054A (zh) 基于半监督近邻传播学习和多视觉词典模型的智能视频分析方法
CN112115996B (zh) 图像数据的处理方法、装置、设备及存储介质
CN113987243A (zh) 一种图像聚档方法、图像聚档装置和计算机可读存储介质
CN113128584B (zh) 一种多功能雷达脉冲序列的模式级无监督分选方法
CN116206208B (zh) 一种基于人工智能的林业病虫害快速分析系统
CN117033956A (zh) 基于数据驱动的数据处理方法、系统、电子设备及介质
KR101590896B1 (ko) 일반화 성능을 갖는 심화학습 장치 및 방법, 그 방법을 수행하기 위한 기록 매체 및 장치
CN106658533B (zh) 一种考虑用户分布的空域流量特征提取方法
CN114580482A (zh) 基于边缘计算节点与数据中心的无线电信号特征采集方法
CN113190851A (zh) 恶意文档检测模型的主动学习方法、电子设备及存储介质
CN111833856A (zh) 基于深度学习的语音关键信息标定方法
CN114584350B (zh) 基于流形的网络数据包特征的降维及聚类的攻击识别方法
CN113283534B (zh) 基于支持向量机模型线性逼近的黑盒测试方法及系统
CN103546338A (zh) 利用相关性的it运维指标预测方法
CN103560900A (zh) 利用相关性的it运维指标预报与预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210105