CN112188534B - 一种异常检测方法和装置 - Google Patents

一种异常检测方法和装置 Download PDF

Info

Publication number
CN112188534B
CN112188534B CN201910605053.9A CN201910605053A CN112188534B CN 112188534 B CN112188534 B CN 112188534B CN 201910605053 A CN201910605053 A CN 201910605053A CN 112188534 B CN112188534 B CN 112188534B
Authority
CN
China
Prior art keywords
data
detection
abnormal
anomaly
detection algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910605053.9A
Other languages
English (en)
Other versions
CN112188534A (zh
Inventor
杜永生
罗颖燕
潘春锦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201910605053.9A priority Critical patent/CN112188534B/zh
Priority to EP20837813.3A priority patent/EP3979416A4/en
Priority to JP2021578200A priority patent/JP2022539578A/ja
Priority to PCT/CN2020/090936 priority patent/WO2021004161A1/zh
Priority to US17/625,078 priority patent/US11777824B2/en
Publication of CN112188534A publication Critical patent/CN112188534A/zh
Application granted granted Critical
Publication of CN112188534B publication Critical patent/CN112188534B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/04—Arrangements for maintaining operational condition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/08—Testing, supervising or monitoring using real traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/20—Manipulation of established connections
    • H04W76/27—Transitions between radio resource control [RRC] states
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/22—Traffic simulation tools or models

Abstract

本发明实施例公开了一种异常检测方法和装置，所述方法包括：对于每一种异常检测算法，采用所述异常检测算法对采集的第一数据的第一特征数据进行检测；其中，N为大于或等于1的整数；当一种或一种以上异常检测算法的第一检测结果为异常时，对所述第一数据的第一特征数据进行可靠性校验得到第一校验结果；根据第一检测结果为异常的异常检测算法的可靠性是否大于或等于第一预设阈值和第一校验结果确定第二检测结果。本发明实施例基于多种异常检测算法的检测结果以及可靠性的校验结果确定最终检测结果，由于可靠性的校验是基于专家业务经验、领域知识所做的可靠性校验，提高了检测结果的可靠性。

Description

一种异常检测方法和装置
技术领域
本发明实施例涉及但不限于通讯运维领域，尤指一种异常检测方法和装置。
背景技术
在通讯运维领域中，检测电信运营服务的一些关键绩效指标(KPI，KeyPerformance Index)，比如无线接通率、丢包率、当前用户数、上下流量等等。当KPI出现异常(或劣化)时，很可能由于通讯环境发生了变化或者软硬件等发生故障造成的。运维人员及时发现问题、解决问题，能有效提升用户满意度，维护公司的声誉。然而，通讯网络中KPI数目繁多，种类成千上万，同时，即将到来的5G通讯技术，将成倍增加KPI数目，使得依靠运维人员人工实时对全网KPI数据监测维护越来越难，所以对于通讯网络KPI异常检测维护的智能化也越来越迫切。
相关的智能化异常检测系统大多基于机器学习技术，对于通讯运维领域而言，在引入机器学习初期，基本上很难积累足够的标注样本，用以训练出可靠的模型进行检测。原因是标注成本高，也就是说KPI数目繁多，同时，人工手动标注门槛较高，需要依赖大量的业务知识。然而，依赖无监督学习算法，或者用数量较少的样本来训练监督学习算法，很难保证检测结果的可靠性。
发明内容
本发明实施例提供了一种异常检测方法和装置，能够提高检测结果的可靠性。
本发明实施例提供了一种异常检测方法，包括：
对于N种异常检测算法中的每一种异常检测算法，采用所述异常检测算法对采集的第一数据的第一特征数据进行检测得到第一检测结果；其中，N为大于或等于1的整数；
当一种或一种以上异常检测算法的第一检测结果为异常时，对所述第一数据的第一特征数据进行可靠性校验得到第一校验结果；
根据第一检测结果为异常的异常检测算法的可靠性是否大于或等于第一预设阈值和第一校验结果确定第二检测结果。
本发明实施例提供了一种异常检测装置，包括处理器和计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令被所述处理器执行时，实现上述任一种异常检测方法。
本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种异常检测方法的步骤。
本发明实施例提供了一种异常检测装置，包括：
检测模块，用于对于N种异常检测算法中的每一种异常检测算法，采用所述异常检测算法对采集的第一数据的第一特征数据进行检测得到第一检测结果；其中，N为大于或等于1的整数；当一种或一种以上异常检测算法的第一检测结果为异常时，对所述第一数据的第一特征数据进行可靠性校验得到第一校验结果；
确定模块，用于根据第一检测结果为异常的异常检测算法的可靠性是否大于或等于第一预设阈值和第一校验结果确定第二检测结果。
本发明实施例包括：对于N种异常检测算法中的每一种异常检测算法，采用所述异常检测算法对采集的第一数据的第一特征数据进行检测得到第一检测结果；其中，N为大于或等于1的整数；当一种或一种以上异常检测算法的第一检测结果为异常时，对所述第一数据的第一特征数据进行可靠性校验得到第一校验结果；根据第一检测结果为异常的异常检测算法的可靠性是否大于或等于第一预设阈值和第一校验结果确定第二检测结果。本发明实施例基于多种异常检测算法的检测结果以及可靠性的校验结果确定最终检测结果，由于可靠性的校验是基于专家业务经验、领域知识所做的可靠性校验，提高了检测结果的可靠性。
本发明实施例的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例而了解。本发明实施例的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明实施例技术方案的进一步理解，并且构成说明书的一部分，与本发明实施例的实施例一起用于解释本发明实施例的技术方案，并不构成对本发明实施例技术方案的限制。
图1为本发明一个实施例提出的异常检测方法的流程图；
图2为本发明另一个实施例提出的异常检测装置的结构组成示意图。
具体实施方式
下文中将结合附图对本发明实施例进行详细说明。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
参见图1，本发明一个实施例提出了一种异常检测方法，包括：
步骤100、对于N种异常检测算法中的每一种异常检测算法，采用所述异常检测算法对采集的第一数据的第一特征数据进行检测得到第一检测结果；其中，N为大于或等于1的整数。
在本发明实施例中，第一数据可以是任意需要进行异常检测的数据，例如KPI数据等。
例如，对于小区1的无线资源控制(RRC，Radio Resource Control)建立连接成功率指标，第一数据包括时间序列数data1和相关数据data2。
其中，data1记为{(t1,x1),...,(tw,xw)}，tw为待检测的时刻，xw为tw对应的RRC建立连接成功率的值，采样时间粒度为T，即tw-tw-1＝T，data2记为[xeff，xref，pre_res，obj_id，KPI_id]，xeff为tw时刻对应的RRC建立连接请求数、xref为RRC建立连接失败次数、pre_res为tw-1时刻是否异常，obj_id为小区id，KPI_id为待检测KPI的id。
在本发明实施例中，可以在采集第一数据后，一次性从第一数据中提取N种异常检测算法所需要的所有第一特征数据，在采用每一种异常检测算法对采集的第一数据的第一特征数据进行检测得到第一检测结果时，从提取的特征数据中选择该种异常检测算法所需要的第一特征数据；
或者，在采用每一种异常检测算法对采集的第一数据的第一特征数据进行检测得到第一检测结果时，从采集的第一数据中提取该种异常检测算法所需要的第一特征数据。
当然，也不是所有的第一数据都需要进行特征提取，对于不需要进行特征提取的第一数据，直接将第一数据作为第一特征数据即可。
在一个示例性实例中，在提取第一数据的特征数据之前，首先对第一数据进行清洗，再从清洗后的第一数据中提取特征数据。当然，也不是所有的第一数据均需要进行清洗，可以对部分第一数据进行清洗，本发明实施例对此不作限定。
例如，对于上述data1和data2，对data1进行清洗，不对data2进行清洗。例如，当data1有缺失值时，采用例如线性插值、均值等方法对缺失的数据进行填充。
对data1进行清洗后，从清洗后的data1中提取第一特征数据，例如，对清洗后的data1进行特征统计(例如最大值xmax、最小值xmin、平均值xmean、中位数xmedian、标准差xstd等)、周期性判断、分类特征构造(例如对tw进行独热(one-hot)编码，包括小时，星期几等)、计算xw的同比环比，一阶差分，二阶差分等。
直接将data2加入第一特征数据中，最终得到第一特征数据，记作feature data＝[f1,f2,...,fn]。
在本发明实施例中，异常检测算法可以是基于统计学习算法(例如3-sigma，指数加权移动平均法(EWMA，Exponentially Weighted Moving-Average)，差分整合移动平均自回归模型(ARIMA，Autoregressive Integrated Moving Average Model)等)、无监督分类算法(例如孤立森林(Isolation Forest)，单分类支持向量机(SVM，Support VectorMachine)(one-class SVM)，变分自编码(Variational Auto-Encode)等)、监督学习算法(例如逻辑回归，极端梯度提升(XGBoost，eXtreme Gradient Boosting)，深度神经网络(DNN，Deep Neural Network)等等)。本发明实施例采用多种异常检测算法进行异常检测，目的是将可能的异常数据都检测出来。例如，对于从上述data1和data2提取的第一特征数据，采用3-sigma，EWMA，Holt-Winters，以及XGBoost算法进行检测得到的第一检测结果分别为：res1＝1、res2＝0、res3＝0、res4＝1，其中，0表示正常，1表示异常。
步骤101、当一种或一种以上异常检测算法的第一检测结果为异常时，对所述第一数据的第一特征数据进行可靠性校验得到第一校验结果。
在本发明实施例中，用户可以通过界面设置可靠性校验的校验条件、选择可靠性评估方法以及设置相关参数，也可以通过编写配置文件的形式导入校验条件、可靠性评估方法以及相关参数。具体的实现方式本发明实施例不作限定。
在一个示例性实例中，对第一数据的第一特征数据进行可靠性校验包括：对所述第一数据的第一特征数据进行以下至少之一：
数据有效性检验、安全区间检验、全网贡献度检验、异常持续性检验。
上述进行可靠性校验的具体规则由专家根据业务经验、领域知识给出，可以由用户在页面进行相关设置或者导入可配置文件。
例如，对于上述从data1和data2提取的第一特征数据，对第一特征数据进行数据有效性校验也就是检测RRC建立连接请求数xeff是否大于第二预设阈值xeff_threshold，当RRC建立连接请求数大于第二预设阈值时，认为第一数据有效，继续对第一特征数据进行安全区间检验；当RRC建立连接请求数小于或等于第二预设阈值时，认为第一数据无效，那么第一数据正常(即第一校验结果为正常)，检验结束。其中，xeff_threshold由专家根据业务经验、领域知识给出，具体可以由用户在页面进行相关设置或者导入可配置文件。
对第一特征数据进行安全区间检验也就是检测RRC建立连接成功率xw是否在安全区间[xmin,xmax]内，当RRC建立连接成功率在安全区间内时，认为第一数据正常(即第一校验结果为正常)，检验结束；当RRC建立连接成功率不在安全区间内时，继续对第一特征数据进行全网贡献度检验。其中，安全区间[xmin,xmax]由专家根据业务经验、领域知识给出，具体可以由用户在页面进行相关设置或者导入可配置文件。
对第一特征数据进行全网贡献度检验也就是检测RRC建立连接失败次数xref是否大于第三预设阈值xref_threshold，当RRC建立连接失败次数大于第三预设阈值时，确定第一校验结果为异常；当RRC建立连接失败次数小于或等于第三预设阈值时，继续对第一特征数据进行持续性检验。其中，xref_threshold由专家根据业务经验、领域知识给出，具体可以由用户在页面进行相关设置或者导入可配置文件。
对第一特征进行持续性检验也就是对tw之前的一段时间的检验结果pre_res是否为异常，以及通过二阶差分的值判断是否有持续变坏的趋势，当tw之前的一段时间的检验结果均为异常，且有变坏的趋势时，确定第一校验结果为异常；当tw之前的一段时间的检验结果中的至少一个检验结果为正常，或者有变好的趋势时，确定第一校验结果为正常，检验结束。
步骤102、根据第一检测结果为异常的异常检测算法的可靠性是否大于或等于第一预设阈值和第一校验结果确定第二检测结果。
在一个示例性实例中，根据第一检测结果为异常的异常检测算法的可靠性是否大于或等于第一预设阈值和第一校验结果确定第二检测结果包括以下任意一种或多种：
当所述第一检测结果为异常的异常检测算法中的一种或一种以上异常检测算法的可靠性大于或等于所述第一预设阈值时，确定所述第二检测结果为异常；
当所述第一检测结果为异常的异常检测算法的可靠性均小于所述第一预设阈值时，将所述第一校验结果作为所述第二检测结果。
例如，上述对从data1和data2提取的第一特殊数据的检测中，当异常检测算法XGBoost的可靠性大于或等于第一预设阈值，且异常检测算法3-sigma的可靠性小于第一预设阈值时，确定第二检测结果为异常；
当异常检测算法XGBoost和3-sigma的可靠性均小于第一预设阈值时，将第一校验结果作为第二检测结果。
在一个示例性实例中，异常检测算法的可靠性包括：异常检测算法的相似度比对、统计检验等。例如，所述异常检测算法的重合率。
在另一个示例性实例中，根据第一检测结果为异常的异常检测算法的可靠性是否大于或等于第一预设阈值和第一校验结果确定第二检测结果之前，该方法还包括：
对于每一种所述异常检测算法，计算所述异常检测算法的重合率。
在一个示例性实例中，计算异常检测算法的重合率包括：
确定第一数量和第二数量的比值为所述重合率；
其中，所述第一数量为在预设时间内采集的所有第二数据中，采用所述异常检测算法对第二数据的第二特征数据进行检测得到的第三检测结果和对所述第二数据的第二特征数据进行可靠性校验得到的第二校验结果相同的第二数据的数量；
所述第二数量为在预设时间内采集的所有第二数据中，采用所述异常检测算法对第二数据的第二特征数据进行检测得到的第三检测结果为异常的第二数据的数量。
例如，最近一个月，所有小区，RRC建立连接成功率指标的检测结果。即依据过去一个月，所有小区，RRC建立连接成功率指标的所有样本中，采用异常检测算法进行检测得到的检测结果为异常的样本，假设一共有m个，并且记录各个异常检测算法在每个样本上的检测结果，以及对采集的数据进行的可靠性校验得到的检验结果，在此基础上，计算异常检测算法i的与检验结果一致的样本数量ci，则重合率为ci/m。
在本发明另一个实施例中，该方法还包括以下任意一个或多个：
当所述第二检测结果为异常，且接收到用户的异常取消信息时，将所述第一数据作为标注为正常的样本加入标注样本库；
当所述第二检测结果为异常，且接收到用户的异常确认信息时，将所述第一数据作为标注为异常的样本加入标注样本库中；
其中，所述标注样本库中的标注为正常或异常的样本用于训练所述异常检测算法的监督学习模型，所述异常检测算法基于所述监督学习模型对所述第一数据的第一特征数据进行检测得到第一检测结果。将第一数据作为标注样本加入标注样本库中，随着时间的推移，标注样本库中积累的标注样本数目越来越多，使得基于监督学习或半监督学习的异常检测算法应用新增标注样本进行增量学习或周期性地重新训练监督学习模型，提高了监督学习模型的可靠性，从而提高了异常检测算法的检测准确率。
也就是说，当第二检测结果为异常时，显示异常信息，例如，异常信息包括异常数据(即第一数据)对应的对象名称“小区1”、发生时间tw、KPI名称“RRC建立连接成功率”、KPI值xw等。用户可以选择输入异常确认信息对异常进行确认，或者输入异常取消信息对异常进行取消；或者不进行任何操作。当用户输入异常确认信息时，将第一数据作为标注为异常的样本加入标注样本库中；当用户输入异常取消信息时，将第一数据作为标注为正常的样本加入样本库中。
本发明实施例基于多种异常检测算法的检测结果以及可靠性的校验结果确定最终检测结果，由于可靠性的校验是基于专家业务经验、领域知识所做的可靠性校验，提高了检测结果的可靠性。
本发明另一个实施例提出了一种异常检测装置，包括处理器和计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令被所述处理器执行时，实现上述任一种异常检测方法。
本发明另一个实施例提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种异常检测方法的步骤。
参见图2，本发明另一个实施例提出了一种异常检测装置，包括：
检测模块201，用于对于N种异常检测算法中的每一种异常检测算法，采用所述异常检测算法对采集的第一数据的第一特征数据进行检测得到第一检测结果；其中，N为大于或等于1的整数；当一种或一种以上异常检测算法的第一检测结果为异常时，对所述第一数据的第一特征数据进行可靠性校验得到第一校验结果；
确定模块202，用于根据第一检测结果为异常的异常检测算法的可靠性是否大于或等于第一预设阈值和第一校验结果确定第二检测结果。
在本发明实施例中，第一数据可以是任意需要进行异常检测的数据，例如KPI数据等。
例如，对于小区1的无线资源控制(RRC，Radio Resource Control)建立连接成功率指标，第一数据包括时间序列数data1和相关数据data2。
其中，data1记为{(t1,x1),...,(tw,xw)}，tw为待检测的时刻，xw为tw对应的RRC建立连接成功率的值，采样时间粒度为T，即tw-tw-1＝T，data2记为[xeff，xref，pre_res，obj_id，KPI_id]，xeff为tw时刻对应的RRC建立连接请求数、xref为RRC建立连接失败次数、pre_res为tw-1时刻是否异常，obj_id为小区id，KPI_id为待检测KPI的id。
在本发明实施例中，检测模块201可以在采集第一数据后，一次性从第一数据中提取N种异常检测算法所需要的所有第一特征数据，在采用每一种异常检测算法对采集的第一数据的第一特征数据进行检测得到第一检测结果时，从提取的特征数据中选择该种异常检测算法所需要的第一特征数据；
或者，检测模块201在采用每一种异常检测算法对采集的第一数据的第一特征数据进行检测得到第一检测结果时，从采集的第一数据中提取该种异常检测算法所需要的第一特征数据。
当然，也不是所有的第一数据都需要进行特征提取，对于不需要进行特征提取的第一数据，直接将第一数据作为第一特征数据即可。
在一个示例性实例中，检测模块201在提取第一数据的特征数据之前，首先对第一数据进行清洗，再从清洗后的第一数据中提取特征数据。当然，也不是所有的第一数据均需要进行清洗，可以对部分第一数据进行清洗，本发明实施例对此不作限定。
例如，对于上述data1和data2，对data1进行清洗，不对data2进行清洗。例如，当data1有缺失值时，采用例如线性插值、均值等方法对缺失的数据进行填充。
对data1进行清洗后，从清洗后的data1中提取第一特征数据，例如，对清洗后的data1进行特征统计(例如最大值xmax、最小值xmin、平均值xmean、中位数xmedian、标准差xstd等)、周期性判断、分类特征构造(例如对tw进行独热(one-hot)编码，包括小时，星期几等)、计算xw的同比环比，一阶差分，二阶差分等。
直接将data2加入第一特征数据中，最终得到第一特征数据，记作feature data＝[f1,f2,...,fn]。
在本发明实施例中，异常检测算法可以是基于统计学习算法(例如3-sigma，指数加权移动平均法(EWMA，Exponentially Weighted Moving-Average)，差分整合移动平均自回归模型(ARIMA，Autoregressive Integrated Moving Average Model)等)、无监督分类算法(例如孤立森林(Isolation Forest)，单分类支持向量机(SVM，Support VectorMachine)(one-class SVM)，变分自编码(Variational Auto-Encode)等)、监督学习算法(例如逻辑回归，极端梯度提升(XGBoost，eXtreme Gradient Boosting)，深度神经网络(DNN，Deep Neural Network)等等)。本发明实施例采用多种异常检测算法进行异常检测，目的是将可能的异常数据都检测出来。例如，对于从上述data1和data2提取的第一特征数据，采用3-sigma，EWMA，Holt-Winters，以及XGBoost算法进行检测得到的第一检测结果分别为：res1＝1、res2＝0、res3＝0、res4＝1，其中，0表示正常，1表示异常。
在本发明实施例中，用户可以通过界面设置可靠性校验的校验条件、选择可靠性评估方法以及设置相关参数，也可以通过编写配置文件的形式导入校验条件、可靠性评估方法以及相关参数。具体的实现方式本发明实施例不作限定。
在一个示例性实例中，检测模块201具体用于采用以下方式实现对第一数据的第一特征数据进行可靠性校验：对所述第一数据的第一特征数据进行以下至少之一：数据有效性检验、安全区间检验、全网贡献度检验、异常持续性检验。
上述进行可靠性校验的具体规则由专家根据业务经验、领域知识给出，可以由用户在页面进行相关设置或者导入可配置文件。
例如，对于上述从data1和data2提取的第一特征数据，对第一特征数据进行数据有效性校验也就是检测RRC建立连接请求数xeff是否大于第二预设阈值xeff_threshold，当RRC建立连接请求数大于第二预设阈值时，认为第一数据有效，继续对第一特征数据进行安全区间检验；当RRC建立连接请求数小于或等于第二预设阈值时，认为第一数据无效，那么第一数据正常(即第一校验结果为正常)，检验结束。其中，xeff_threshold由专家根据业务经验、领域知识给出，具体可以由用户在页面进行相关设置或者导入可配置文件。
对第一特征数据进行安全区间检验也就是检测RRC建立连接成功率xw是否在安全区间[xmin,xmax]内，当RRC建立连接成功率在安全区间内时，认为第一数据正常(即第一校验结果为正常)，检验结束；当RRC建立连接成功率不在安全区间内时，继续对第一特征数据进行全网贡献度检验。其中，安全区间[xmin,xmax]由专家根据业务经验、领域知识给出，具体可以由用户在页面进行相关设置或者导入可配置文件。
对第一特征数据进行全网贡献度检验也就是检测RRC建立连接失败次数xref是否大于第三预设阈值xref_threshold，当RRC建立连接失败次数大于第三预设阈值时，确定第一校验结果为异常；当RRC建立连接失败次数小于或等于第三预设阈值时，继续对第一特征数据进行持续性检验。其中，xref_threshold由专家根据业务经验、领域知识给出，具体可以由用户在页面进行相关设置或者导入可配置文件。
对第一特征进行持续性检验也就是对tw之前的一段时间的检验结果pre_res是否为异常，以及通过二阶差分的值判断是否有持续变坏的趋势，当tw之前的一段时间的检验结果均为异常，且有变坏的趋势时，确定第一校验结果为异常；当tw之前的一段时间的检验结果中的至少一个检验结果为正常，或者有变好的趋势时，确定第一校验结果为正常，检验结束。
在一个示例性实例中，确定模块202具体用于执行以下任意一种或多种：
当所述第一检测结果为异常的异常检测算法中的一种或一种以上异常检测算法的可靠性大于或等于所述第一预设阈值时，确定所述第二检测结果为异常；
当所述第一检测结果为异常的异常检测算法的可靠性均小于所述第一预设阈值时，将所述第一校验结果作为所述第二检测结果。
例如，上述对从data1和data2提取的第一特殊数据的检测中，当异常检测算法XGBoost的可靠性大于或等于第一预设阈值，且异常检测算法3-sigma的可靠性小于第一预设阈值时，确定第二检测结果为异常；
当异常检测算法XGBoost和3-sigma的可靠性均小于第一预设阈值时，将第一校验结果作为第二检测结果。
在一个示例性实例中，异常检测算法的可靠性包括：异常检测算法的相似度比对、统计检验等。例如，所述异常检测算法的重合率。
在另一个示例性实例中，确定模块202还用于：
对于每一种所述异常检测算法，计算所述异常检测算法的重合率。
在一个示例性实例中，确定模块202具体用于采用以下方式实现计算异常检测算法的重合率：确定第一数量和第二数量的比值为所述重合率；
其中，所述第一数量为在预设时间内采集的所有第二数据中，采用所述异常检测算法对第二数据的第二特征数据进行检测得到的第三检测结果和对所述第二数据的第二特征数据进行可靠性校验得到的第二校验结果相同的第二数据的数量；
所述第二数量为在预设时间内采集的所有第二数据中，采用所述异常检测算法对第二数据的第二特征数据进行检测得到的第三检测结果为异常的第二数据的数量。
例如，最近一个月，所有小区，RRC建立连接成功率指标的检测结果。即依据过去一个月，所有小区，RRC建立连接成功率指标的所有样本中，采用异常检测算法进行检测得到的检测结果为异常的样本，假设一共有m个，并且记录各个异常检测算法在每个样本上的检测结果，以及对采集的数据进行的可靠性校验得到的检验结果，在此基础上，计算异常检测算法i的与检验结果一致的样本数量ci，则重合率为ci/m。
在本发明另一个实施例中，确定模块202还用于执行以下任意一个或多个：
当所述第二检测结果为异常，且接收到用户的异常取消信息时，将所述第一数据作为标注为正常的样本加入标注样本库；
当所述第二检测结果为异常，且接收到用户的异常确认信息时，将所述第一数据作为标注为异常的样本加入标注样本库中；
其中，所述标注样本库中的标注为正常或异常的样本用于训练所述异常检测算法的监督学习模型，所述异常检测算法基于所述监督学习模型对所述第一数据的第一特征数据进行检测得到第一检测结果。将第一数据作为标注样本加入标注样本库中，随着时间的推移，标注样本库中积累的标注样本数目越来越多，使得基于监督学习或半监督学习的异常检测算法应用新增标注样本进行增量学习或周期性地重新训练监督学习模型，提高了监督学习模型的可靠性，从而提高了异常检测算法的检测准确率。
也就是说，当第二检测结果为异常时，显示异常信息，例如，异常信息包括异常数据(即第一数据)对应的对象名称“小区1”、发生时间tw、KPI名称“RRC建立连接成功率”、KPI值xw等。用户可以选择输入异常确认信息对异常进行确认，或者输入异常取消信息对异常进行取消；或者不进行任何操作。当用户输入异常确认信息时，将第一数据作为标注为异常的样本加入标注样本库中；当用户输入异常取消信息时，将第一数据作为标注为正常的样本加入样本库中。
本发明实施例基于多种异常检测算法的检测结果以及可靠性的校验结果确定最终检测结果，由于可靠性的校验是基于专家业务经验、领域知识所做的可靠性校验，提高了检测结果的可靠性。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
虽然本发明实施例所揭露的实施方式如上，但所述的内容仅为便于理解本发明实施例而采用的实施方式，并非用以限定本发明实施例。任何本发明实施例所属领域内的技术人员，在不脱离本发明实施例所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明实施例的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种异常检测方法，包括：
对于N种异常检测算法中的每一种异常检测算法，采用所述异常检测算法对采集的第一数据的第一特征数据进行检测得到第一检测结果；其中，N为大于1的整数；
当一种或一种以上异常检测算法的第一检测结果为异常时，对所述第一数据的第一特征数据进行可靠性校验得到第一校验结果；
根据第一检测结果为异常的异常检测算法的重合率是否大于或等于第一预设阈值和第一校验结果确定第二检测结果；
当所述第二检测结果为异常，且接收到用户的异常确认信息时，将所述第一数据作为标注为异常的样本加入标注样本库中；
其中，所述标注样本库中的标注为正常或异常的样本用于训练所述异常检测算法的监督学习模型，所述异常检测算法基于所述监督学习模型对所述第一数据的第一特征数据进行检测得到所述第一检测结果；
所述异常检测算法的重合率基于以下步骤得到：
确定第一数量和第二数量的比值为所述重合率；
其中，所述第一数量为在预设时间内采集的所有第二数据中，采用所述异常检测算法对所述第二数据的第二特征数据进行检测得到的第三检测结果和对所述第二数据的第二特征数据进行可靠性校验得到的第二校验结果相同的第二数据的数量；
所述第二数量为在预设时间内采集的所有第二数据中，采用所述异常检测算法对所述第二数据的第二特征数据进行检测得到的第三检测结果为异常的第二数据的数量。
2.根据权利要求1所述的方法，其特征在于，该方法还包括：
当所述第二检测结果为异常，且接收到用户的异常取消信息时，将所述第一数据作为标注为正常的样本加入标注样本库。
3.根据权利要求1或2所述的方法，其特征在于，其中，所述对所述第一数据的第一特征数据进行可靠性校验包括：对所述第一数据的第一特征数据进行以下至少之一：
数据有效性检验、安全区间检验、全网贡献度检验、异常持续性检验。
4.根据权利要求1或2所述的方法，其特征在于，其中，所述根据第一检测结果为异常的异常检测算法的重合率是否大于或等于第一预设阈值和第一校验结果确定第二检测结果包括以下任意一种或多种：
当所述第一检测结果为异常的异常检测算法中的一种或一种以上异常检测算法的重合率大于或等于所述第一预设阈值时，确定所述第二检测结果为异常；
当所述第一检测结果为异常的异常检测算法的重合率均小于所述第一预设阈值时，将所述第一校验结果作为所述第二检测结果。
5.根据权利要求1所述的方法，其特征在于，所述根据第一检测结果为异常的异常检测算法的重合率是否大于或等于第一预设阈值和第一校验结果确定第二检测结果之前，该方法还包括：
对于每一种所述异常检测算法，计算所述异常检测算法的重合率。
6.一种异常检测方法，包括：
对于N种异常检测算法中的每一种异常检测算法，采用所述异常检测算法对采集的第一数据的第一特征数据进行检测得到第一检测结果；其中，N为大于1的整数；
当一种或一种以上异常检测算法的第一检测结果为异常时，对所述第一数据的第一特征数据进行可靠性校验得到第一校验结果；
根据第一检测结果为异常的异常检测算法的重合率是否大于或等于第一预设阈值和第一校验结果确定第二检测结果；
当所述第二检测结果为异常，且接收到用户的异常取消信息时，将所述第一数据作为标注为正常的样本加入标注样本库；
其中，所述标注样本库中的标注为正常或异常的样本用于训练所述异常检测算法的监督学习模型，所述异常检测算法基于所述监督学习模型对所述第一数据的第一特征数据进行检测得到所述第一检测结果；
所述异常检测算法的重合率基于以下步骤得到：
确定第一数量和第二数量的比值为所述重合率；
其中，所述第一数量为在预设时间内采集的所有第二数据中，采用所述异常检测算法对所述第二数据的第二特征数据进行检测得到的第三检测结果和对所述第二数据的第二特征数据进行可靠性校验得到的第二校验结果相同的第二数据的数量；
所述第二数量为在预设时间内采集的所有第二数据中，采用所述异常检测算法对所述第二数据的第二特征数据进行检测得到的第三检测结果为异常的第二数据的数量。
7.一种异常检测装置，包括处理器和计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当所述指令被所述处理器执行时，实现如权利要求1~6任一项所述的异常检测方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1~6任一项所述的异常检测方法的步骤。
9.一种异常检测装置，包括：
检测模块，用于对于N种异常检测算法中的每一种异常检测算法，采用所述异常检测算法对采集的第一数据的第一特征数据进行检测得到第一检测结果；其中，N为大于1的整数；当一种或一种以上异常检测算法的第一检测结果为异常时，对所述第一数据的第一特征数据进行可靠性校验得到第一校验结果；
确定模块，用于根据第一检测结果为异常的异常检测算法的重合率是否大于或等于第一预设阈值和第一校验结果确定第二检测结果；当所述第二检测结果为异常，且接收到用户的异常确认信息时，将所述第一数据作为标注为异常的样本加入标注样本库中；其中，所述标注样本库中的标注为正常或异常的样本用于训练所述异常检测算法的监督学习模型，所述异常检测算法基于所述监督学习模型对所述第一数据的第一特征数据进行检测得到所述第一检测结果；
所述异常检测算法的重合率基于以下步骤得到：
确定第一数量和第二数量的比值为所述重合率；
其中，所述第一数量为在预设时间内采集的所有第二数据中，采用所述异常检测算法对所述第二数据的第二特征数据进行检测得到的第三检测结果和对所述第二数据的第二特征数据进行可靠性校验得到的第二校验结果相同的第二数据的数量；
所述第二数量为在预设时间内采集的所有第二数据中，采用所述异常检测算法对所述第二数据的第二特征数据进行检测得到的第三检测结果为异常的第二数据的数量。
10.一种异常检测装置，包括：
检测模块，用于对于N种异常检测算法中的每一种异常检测算法，采用所述异常检测算法对采集的第一数据的第一特征数据进行检测得到第一检测结果；其中，N为大于1的整数；当一种或一种以上异常检测算法的第一检测结果为异常时，对所述第一数据的第一特征数据进行可靠性校验得到第一校验结果；
确定模块，用于根据第一检测结果为异常的异常检测算法的重合率是否大于或等于第一预设阈值和第一校验结果确定第二检测结果；当所述第二检测结果为异常，且接收到用户的异常取消信息时，将所述第一数据作为标注为正常的样本加入标注样本库；其中，所述标注样本库中的标注为正常或异常的样本用于训练所述异常检测算法的监督学习模型，所述异常检测算法基于所述监督学习模型对所述第一数据的第一特征数据进行检测得到所述第一检测结果；
所述异常检测算法的重合率基于以下步骤得到：
确定第一数量和第二数量的比值为所述重合率；
其中，所述第一数量为在预设时间内采集的所有第二数据中，采用所述异常检测算法对所述第二数据的第二特征数据进行检测得到的第三检测结果和对所述第二数据的第二特征数据进行可靠性校验得到的第二校验结果相同的第二数据的数量；
所述第二数量为在预设时间内采集的所有第二数据中，采用所述异常检测算法对所述第二数据的第二特征数据进行检测得到的第三检测结果为异常的第二数据的数量。
CN201910605053.9A 2019-07-05 2019-07-05 一种异常检测方法和装置 Active CN112188534B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201910605053.9A CN112188534B (zh) 2019-07-05 2019-07-05 一种异常检测方法和装置
EP20837813.3A EP3979416A4 (en) 2019-07-05 2020-05-19 METHOD AND DEVICE FOR DETECTING ANOMALIES
JP2021578200A JP2022539578A (ja) 2019-07-05 2020-05-19 異常検出方法および装置
PCT/CN2020/090936 WO2021004161A1 (zh) 2019-07-05 2020-05-19 一种异常检测方法和装置
US17/625,078 US11777824B2 (en) 2019-07-05 2020-05-19 Anomaly detection method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910605053.9A CN112188534B (zh) 2019-07-05 2019-07-05 一种异常检测方法和装置

Publications (2)

Publication Number Publication Date
CN112188534A CN112188534A (zh) 2021-01-05
CN112188534B true CN112188534B (zh) 2023-11-03

Family

ID=73915346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910605053.9A Active CN112188534B (zh) 2019-07-05 2019-07-05 一种异常检测方法和装置

Country Status (5)

Country Link
US (1) US11777824B2 (zh)
EP (1) EP3979416A4 (zh)
JP (1) JP2022539578A (zh)
CN (1) CN112188534B (zh)
WO (1) WO2021004161A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230043793A1 (en) * 2021-08-04 2023-02-09 Verizon Patent And Licensing Inc. Anomaly detection using user behavioral biometrics profiling method and apparatus
CN113761025B (zh) * 2021-08-30 2022-08-05 上海电气国轩新能源科技有限公司 储能电站电池数据异常的检测方法、系统、设备及介质
US11832119B2 (en) * 2021-08-31 2023-11-28 Verizon Patent And Licensing Inc. Identification of anomalous telecommunication service
CN115374851A (zh) * 2022-08-19 2022-11-22 北京市燃气集团有限责任公司 一种燃气数据异常检测方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1996888A (zh) * 2006-12-15 2007-07-11 华为技术有限公司 一种网络流量异常的检测方法及检测装置
CN108322347A (zh) * 2018-02-09 2018-07-24 腾讯科技（深圳）有限公司 数据检测方法、装置、检测服务器及存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1352327A4 (en) * 2001-01-08 2007-04-18 Vextec Corp METHOD AND DEVICE FOR PREDICTING FAILURES IN A SYSTEM
JP5431235B2 (ja) * 2009-08-28 2014-03-05 株式会社日立製作所 設備状態監視方法およびその装置
US10592093B2 (en) * 2014-10-09 2020-03-17 Splunk Inc. Anomaly detection
US9872188B2 (en) * 2015-07-28 2018-01-16 Futurewei Technologies, Inc. Adaptive filtering based network anomaly detection
CN105471854B (zh) 2015-11-18 2019-06-28 国网智能电网研究院 一种基于多级策略的自适应边界异常检测方法
CN105630885B (zh) 2015-12-18 2019-05-28 国网福建省电力有限公司泉州供电公司 一种用电异常检测方法及系统
US10164991B2 (en) * 2016-03-25 2018-12-25 Cisco Technology, Inc. Hierarchical models using self organizing learning topologies
JP6805554B2 (ja) * 2016-06-02 2020-12-23 富士電機株式会社 監視装置及び監視方法
CN106357622B (zh) 2016-08-29 2019-06-14 北京工业大学 基于软件定义网络的网络异常流量检测防御系统
JP6795444B2 (ja) 2017-04-06 2020-12-02 ルネサスエレクトロニクス株式会社 異常検知システム、半導体装置の製造システムおよび製造方法
CN107276851B (zh) 2017-06-26 2019-12-13 中国信息安全测评中心 一种节点的异常检测方法、装置、网络节点及控制台
US10904276B2 (en) 2017-09-14 2021-01-26 Nokia Technologies Oy Systems and methods for anomaly detection
CN108762993A (zh) 2018-06-06 2018-11-06 山东超越数控电子股份有限公司 一种基于人工智能的虚拟机故障迁移方法与装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1996888A (zh) * 2006-12-15 2007-07-11 华为技术有限公司 一种网络流量异常的检测方法及检测装置
CN108322347A (zh) * 2018-02-09 2018-07-24 腾讯科技（深圳）有限公司 数据检测方法、装置、检测服务器及存储介质

Also Published As

Publication number Publication date
CN112188534A (zh) 2021-01-05
WO2021004161A1 (zh) 2021-01-14
EP3979416A4 (en) 2022-08-03
US11777824B2 (en) 2023-10-03
US20220278914A1 (en) 2022-09-01
EP3979416A1 (en) 2022-04-06
JP2022539578A (ja) 2022-09-12

Similar Documents

Publication Publication Date Title
CN112188534B (zh) 一种异常检测方法和装置
WO2022048168A1 (zh) 一种用于故障预测神经网络模型的训练方法与设备
US10992697B2 (en) On-board networked anomaly detection (ONAD) modules
CN111967571B (zh) 一种基于mhma的异常检测方法和设备
US11240125B2 (en) System and method for predicting and reducing subscriber churn
KR101748122B1 (ko) 경보의 오류율 계산 방법
EP3979080A1 (en) Methods and systems for predicting time of server failure using server logs and time-series data
CN105325023A (zh) 用于小区异常检测的方法和网络设备
AU2019275633B2 (en) System and method of automated fault correction in a network environment
CN111459692B (zh) 用于预测驱动器故障的方法、设备和计算机程序产品
EP3460663A1 (en) Apparatus and method for rare failure prediction
CN111984511B (zh) 一种基于二分类的多模型磁盘故障预测方法和系统
KR102515853B1 (ko) 배터리 셀 단위를 기반으로 하는 이상 진단 장치, 시스템 및 방법
CN114169604A (zh) 性能指标的异常检测方法、异常检测装置、电子设备和存储介质
CN112529109A (zh) 一种基于无监督多模型的异常检测方法及系统
CN112990329B (zh) 一种系统异常诊断方法和装置
US11288155B2 (en) Identifying anomalies in data during data outage
CN113676343A (zh) 电力通信网故障源定位方法及装置
CN113449824A (zh) 视频处理方法、装置及计算机可读存储介质
Karanam et al. ‘Developing a deep learning tool to detect electric vehicle supply equipment failures
CN112150795B (zh) 一种车辆轨迹异常的检测方法及装置
KR102565580B1 (ko) 그래디언트를 이용한 원본 데이터 재복원 방법 및 서버
CN114692779A (zh) 一种训练行为预测模型的方法、装置、系统及存储介质
CN115130616A (zh) 一种告警预测方法、装置、设备及介质
CN117456417A (zh) 交通异常事件感知方法、系统、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant