CN105099759A - 一种检测方法及装置 - Google Patents
一种检测方法及装置 Download PDFInfo
- Publication number
- CN105099759A CN105099759A CN201510350880.XA CN201510350880A CN105099759A CN 105099759 A CN105099759 A CN 105099759A CN 201510350880 A CN201510350880 A CN 201510350880A CN 105099759 A CN105099759 A CN 105099759A
- Authority
- CN
- China
- Prior art keywords
- traffic statistics
- statistics data
- data
- frequency signal
- signal sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/12—Network monitoring probes
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种检测方法及装置,用于提高检测的灵活性。本发明方法包括:获取话统数据;根据所述话统数据构建高斯混合模型;通过所述高斯混合模型计算得到所述话统数据的门限值;当测试数据超过所述门限值时,确定所述测试数据为异常数据。
Description
技术领域
本发明涉及通信技术领域,特别涉及一种检测方法及装置。
背景技术
随着组网复杂化,传输域的故障定位越来越受到关注,目前的故障定位手段,都是基于现有专家经验的故障定位,故障定位都是事后处理,为了有效的避免故障引起的网络影响,需要尽可能早的发现潜在的网络故障,通过海量历史数据挖掘,找出潜在故障发生和性能指标之间的关联。
目前通过FMA(FaultManagerAnalyzer,故障管理分析)对传输域的性能进行故障诊断,其具体包括:依据设定的阈值判断指标是否异常,如果指标超出门限,则产生故障告警;根据已产生的故障告警,统计故障比例,包括告警对象、告警不可用比例、故障时间、链路数和链路类型;通过预置的指标关联规则,进行故障诊断。
该方案存在如下缺点:
1、故障检测都是根据固定不变的阈值,一旦部署完成,就一成不变的使用默认阈值来检测指标,不支持根据场景、话务、忙闲等情况灵活自动地设置阈值,无法满足精细化的维护需求。
2、网络故障大多是性能类故障,需要经历由指标正常到不正常的渐变过程,而因为不能提前察觉这些故障,导致这些故障都是“事后处理”,被动地进行紧急排障,增加了排障成本。
3、故障诊断是通过专家的经验来判断故障与哪些指标异常强相关,不能快速准确进行故障定位,不满足高效运维的宗旨。
发明内容
本发明提供了一种检测方法及装置,用于提高检测的灵活性。
本发明第一方面提供了一种检测方法,包括:
获取话统数据;
根据所述话统数据构建高斯混合模型;
通过所述高斯混合模型计算得到所述话统数据的门限值;
当测试数据超过所述门限值时,确定所述测试数据为异常数据。
结合本发明的第一方面,在本发明第一方面的第一种实现方式中,所述方法还包括:
获取所述话统数据在传输过程中的原始流量信号;
对所述原始流量信号进行小波分解,得到低频信号序列和高频信号序列;
对所述低频信号序列和高频信号序列进行单支重构;
对单支重构后的所述低频信号序列和高频信号序列进行线性马尔科夫链预测;
将线性马尔科夫链预测后的预测结果叠加,得到流量预测结果。
结合本发明的第一方面,在本发明第一方面的第二种实现方式中,所述方法还包括:
通过随机森林构建异常数据和所述话统数据的关联模型;
对所述关联模型进行基尼指数分析,得到故障预测结果。
结合本发明的第一方面、或第一方面的第一种实现方式、或第一方面的第二种实现方式,在本发明第一方面的第三种实现方式中,当进行单指标异常检测时,所述通过所述高斯混合模型计算得到所述话统数据的门限值具体包括:
通过在所述高斯混合模型中设置的异常门限百分比计算得到所述话统数据的门限范围。
结合本发明的第一方面、或第一方面的第一种实现方式、或第一方面的第二种实现方式,在本发明第一方面的第四种实现方式中,当进行多指标异常检测时,所述通过所述高斯混合模型计算得到所述话统数据的门限值具体包括:
计算得到所述话统数据的多个指标之间的马氏距离;
根据所述马氏距离和在所述高斯混合模型中设置的异常门限百分比计算得到所述话统数据的门限范围。
结合本发明的第一方面、或第一方面的第一种实现方式、或第一方面的第二种实现方式,在本发明第一方面的第五种实现方式中,所述根据所述话统数据构建高斯混合模型之前还包括:
对所述话统数据进行预处理与入库;
对入库后的所述话统数据进行特征提取与分类。
本发明第二方面提供了一种检测装置,包括:
第一获取单元,用于获取话统数据;
第一构建单元,用于根据所述话统数据构建高斯混合模型;
计算单元,用于通过所述高斯混合模型计算得到所述话统数据的门限值;
确定单元,用于在测试数据超过所述门限值时,确定所述测试数据为异常数据。
结合本发明的第二方面,在本发明第二方面的第一种实现方式中,所述装置还包括:
第二获取单元,用于获取所述话统数据在传输过程中的原始流量信号;
分解单元,用于对所述原始流量信号进行小波分解,得到低频信号序列和高频信号序列;
重构单元,用于对所述低频信号序列和高频信号序列进行单支重构;
预测单元,用于对单支重构后的所述低频信号序列和高频信号序列进行线性马尔科夫链预测;
叠加单元,用于将线性马尔科夫链预测后的预测结果叠加,得到流量预测结果。
结合本发明的第二方面,在本发明第二方面的第二种实现方式中,所述装置还包括:
第二构建单元,用于通过随机森林构建异常数据和所述话统数据的关联模型;
分析单元,用于对所述关联模型进行基尼指数分析,得到故障预测结果。
结合本发明的第二方面、或第二方面的第一种实现方式、或第二方面的第二种实现方式,在本发明第二方面的第三种实现方式中,当进行单指标异常检测时,所述计算单元具体用于通过在所述高斯混合模型中设置的异常门限百分比计算得到所述话统数据的门限范围。
结合本发明的第二方面、或第二方面的第一种实现方式、或第二方面的第二种实现方式,在本发明第二方面的第四种实现方式中,当进行多指标异常检测时,所述计算单元具体包括:
第一计算模块,用于计算得到所述话统数据的多个指标之间的马氏距离;
第二计算模块,用于根据所述马氏距离和在所述高斯混合模型中设置的异常门限百分比计算得到所述话统数据的门限范围。
结合本发明的第二方面、或第二方面的第一种实现方式、或第二方面的第二种实现方式,在本发明第二方面的第五种实现方式中,所述装置还包括:
预处理单元,用于对所述话统数据进行预处理与入库;
分类单元,用于对入库后的所述话统数据进行特征提取与分类。
从以上技术方案可以看出,本发明具有以下优点:获取话统数据;根据所述话统数据构建高斯混合模型;通过所述高斯混合模型计算得到所述话统数据的门限值;当测试数据超过所述门限值时,确定所述测试数据为异常数据;因此,本发明能够根据不同场景、话务、忙闲等情况,动态计算门限值,从而实时给出异常数据提示,提高了检测的灵活性,满足精细化的维护需求。
附图说明
图1为本发明所提供的检测方法的一个实施例流程示意图;
图2为本发明所提供的检测方法的另一实施例流程示意图;
图3为本发明所提供的检测方法的另一实施例流程示意图;
图4为本发明所提供的检测方法的另一实施例流程示意图;
图5为本发明所提供的检测方法的另一实施例流程示意图;
图6为本发明所提供的检测方法的另一实施例流程示意图;
图7为本发明所提供的检测装置的一个实施例结构示意图;
图8为本发明所提供的检测装置的另一实施例结构示意图;
图9为本发明所提供的检测装置的另一实施例结构示意图;
图10为本发明所提供的检测装置的另一实施例结构示意图;
图11为本发明所提供的检测装置的另一实施例结构示意图;
图12为本发明所提供的检测装置的另一实施例结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,尽管在本发明实施例中可能采用术语第一、第二等来描述各个用户或终端,但用户或终端不应限于这些术语。这些术语仅用来将用户或终端彼此区分开。例如,在不脱离本发明实施例范围的情况下,第一用户也可以被称为第二用户,类似地,第二用户也可以被称为第一用户;同样的,第二用户也可以被称为第三用户等等,本发明实施例对此不做限制。
本发明提供了一种检测方法,本方法主要由检测装置执行;请参阅图1,本发明所提供的检测方法的一个实施例包括:
101、获取话统数据;
需要说明的是,本实施例中获取的话统数据主要包括采集UMTS(UniversalMobileTelecommunicationsSystem,通用移动通信系统)的RNC(RadioNetworkController,无线网络控制器)的话统数据。
102、根据所述话统数据构建高斯混合模型;
需要说明的是,异常检测算法有基于统计模型、距离、密度、深度、偏移的异常点检测,基于统计的方法在很大程度上依赖于待挖掘的数据集是否满足某种概率分布模型,模型的参数、离群点的数目等。本实施例中采用的是基于统计的高斯混合模型算法,因此,首先需要构建高斯混合模型。
103、通过所述高斯混合模型计算得到所述话统数据的门限值;
需要说明的是,基于统计的高斯混合模型算法,假设该话统数据符合高斯分布,即可通过系统自动计算出指标的上下门限。
104、当测试数据超过所述门限值时,确定所述测试数据为异常数据。
需要说明的是,在测试数据中包含着少数的数据对象,它们与大多数数据的行为或特征不一致,这些数据对象叫做异常点,也叫做孤立点。对于异常数据的挖掘主要是使用偏差检测,偏差检测的基本目标是寻找观测结果与参照值之间有意义的差别;因此,通过计算得到的门限值,能够准确的确定异常数据。
本发明实施例中,获取话统数据,并根据所述话统数据构建高斯混合模型;通过所述高斯混合模型计算得到所述话统数据的门限值;当测试数据超过所述门限值时,确定所述测试数据为异常数据;因此,本发明能够根据不同场景、话务、忙闲等情况,动态计算门限值,从而实时给出异常数据提示,提高了检测的灵活性,满足精细化的维护需求。
请参阅图2,本发明所提供的检测方法的另一实施例包括:
201、获取话统数据;
202、根据所述话统数据构建高斯混合模型;
203、通过所述高斯混合模型计算得到所述话统数据的门限值;
204、当测试数据超过所述门限值时,确定所述测试数据为异常数据;
需要说明的是,步骤201~204可对应参考图1实施例中步骤101~104,此处不再赘述。
205、获取所述话统数据在传输过程中的原始流量信号;
需要说明的是,通过采集话统数据在传输过程中的原始流量信号进行后续检测。
206、对所述原始流量信号进行小波分解,得到低频信号序列和高频信号序列;
需要说明的是,原始流量信号是时域的非平稳信号,经过小波分解为频域的周期信息,从而捕捉信号的变化规律,达到预测指标的目的。小波变换的含义是把基本小波(motherwavelet)函数做位移和不同尺度的伸缩变换,再与待分析信号做内积即可,其中平移使得小波能够沿信号的时间轴实现遍历分析,伸缩通过小波的收缩和伸张,使得每次遍历分析实现对不同频率信号的逼近。
原始离散流量信号序列,经过小波变换马拉特(Mallat)算法,分别输出低频信号序列和高频信号序列,利用降采样的方法即在输出的两点中只取一个数据点,这样低频信号序列和高频信号序列长度为原信号长度的一半,记为C1和D1,虽然近似分量和细节分量的长度仅为原序列的一半,但却完整包含了原信号信息。其中低频信号序列C1进一步分解为C2和D2,分解的层次称为小波分解尺度。最终小波分解为f(x)=Cn+D1+D2+…+Dn。
207、对所述低频信号序列和高频信号序列进行单支重构;
需要说明的是,对上述小波分解得到的每一个低频信号序列和高频信号序列进行单支重构,即插零操作,使得重构序列和原始序列的长度相同。
208、对单支重构后的所述低频信号序列和高频信号序列进行线性马尔科夫链预测;
需要说明的是,对单支重构后的所述低频信号序列和高频信号序列进行线性马尔科夫链预测;其中,马尔科夫链预测,通过将训练数据进行差分平稳化处理(减去均值,除以方差),然后分割为不同的状态空间(距离窗口d可设置),求出一个状态转移到下一状态的概率矩阵,从而建立状态转移模型,测试数据根据状态转移概率矩阵,得到可能的下一步状态概率,从而实现下一步值的预测。
209、将线性马尔科夫链预测后的预测结果叠加,得到流量预测结果。
需要说明的是,将上述线性马尔科夫链预测后的每一个分支的预测结果叠加,得到最后的流量预测结果。
其中,上述步骤205~209与步骤201~204在实际中可并列执行。
本发明实施例中,获取所述话统数据在传输过程中的原始流量信号,并对所述原始流量信号进行小波分解,得到低频信号序列和高频信号序列;对所述低频信号序列和高频信号序列进行单支重构,以及对单支重构后的所述低频信号序列和高频信号序列进行线性马尔科夫链预测;将线性马尔科夫链预测后的预测结果叠加,得到流量预测结果;因此,本实施例中通过时频域转换的流量预测,能够提前发现异常流量,以便及时处理异常事件。
请参阅图3,本发明所提供的检测方法的另一实施例包括:
301、获取话统数据;
302、根据所述话统数据构建高斯混合模型;
303、通过所述高斯混合模型计算得到所述话统数据的门限值;
304、当测试数据超过所述门限值时,确定所述测试数据为异常数据;
305、获取所述话统数据在传输过程中的原始流量信号;
306、对所述原始流量信号进行小波分解,得到低频信号序列和高频信号序列;
307、对所述低频信号序列和高频信号序列进行单支重构;
308、对单支重构后的所述低频信号序列和高频信号序列进行线性马尔科夫链预测;
309、将线性马尔科夫链预测后的预测结果叠加,得到流量预测结果;
需要说明的是,步骤301~309可对应参考图2实施例中的步骤201~209,此处不再赘述。
310、通过随机森林构建异常数据和所述话统数据的关联模型;
需要说明的是,随即森林对于有或无、生或死、发生或不发生等二分变量的分析,非常可靠有用,因为它对于若干自变量的多元共线性不敏感,即对于自变量之间关联关系不做苛刻要求。通过随机森林,建立异常数据和话统数据的关联模型,对于测试数据,预测流量趋势后,加载该模型,从而实现未来流量导致的潜在告警预测。
311、对所述关联模型进行基尼指数分析,得到故障预测结果。
需要说明的是,链路的告警受诸多自变量影响,哪些自变量是重要因素,哪些自变量是次要因素,对于我们研究告警定位有指导作用。比如对于告警21541,通过联合性能指标和告警数据,GINI指数给出不同指标对于告警的影响程度。
其中,步骤310~311与步骤301~304、步骤305~309在实际中可并列执行。
本发明实施例中,通过随机森林构建异常数据和所述话统数据的关联模型;对所述关联模型进行基尼指数分析,得到故障预测结果。因此,本发明实施例中通过关联模型的分析与预测,能够及时准确的进行故障定位,提高运维效率。
请参阅图4,本发明所提供的检测方法的另一实施例包括:
401、获取话统数据;
402、根据所述话统数据构建高斯混合模型;
需要说明的是,步骤401~402可对应参考图1实施例中的步骤101~102,此处不再赘述。
403、当进行单指标异常检测时,通过在所述高斯混合模型中设置的异常门限百分比计算得到所述话统数据的门限范围;
需要说明的是,当进行单指标异常检测时,假设话统数据满足高斯分布,计算得到该话统数据的均值和方差,并通过定义异常门限百分比0.05%(可根据实际需求进行设置,此处不作限定),学习得到话统数据的门限范围,与测试数据进行比较,超出门限的定义为异常指标,连续4个(可根据实际需求进行设置,此处不作限定)异常指标定义为一个异常事件。
404、当测试数据超过所述门限范围时,确定所述测试数据为异常数据;
405、获取所述话统数据在传输过程中的原始流量信号;
406、对所述原始流量信号进行小波分解,得到低频信号序列和高频信号序列;
407、对所述低频信号序列和高频信号序列进行单支重构;
408、对单支重构后的所述低频信号序列和高频信号序列进行线性马尔科夫链预测;
409、将线性马尔科夫链预测后的预测结果叠加,得到流量预测结果;
410、通过随机森林构建异常数据和所述话统数据的关联模型;
411、对所述关联模型进行基尼指数分析,得到故障预测结果。
需要说明的是,步骤404~411可对应参考图3实施例中的步骤304~311,此处不再赘述。
本发明实施例中,能够根据不同场景、话务、忙闲等情况,动态计算门限值,从而实时给出异常数据提示,提高了检测的灵活性,满足精细化的维护需求。
请参阅图5,本发明所提供的检测方法的另一实施例包括:
501、获取话统数据;
502、根据所述话统数据构建高斯混合模型;
需要说明的是,步骤501~502可对应参考图1实施例中的步骤101~102,此处不再赘述。
503、当进行多指标异常检测时,计算得到所述话统数据的多个指标之间的马氏距离;
需要说明的是,当进行多指标异常检测时,对多指标之间进行关联分析,通过计算马氏距离矩阵,得到多指标之间的关联程度。
504、根据所述马氏距离和在所述高斯混合模型中设置的异常门限百分比计算得到所述话统数据的门限范围;
需要说明的是,通过定义异常门限百分比0.5%(可根据实际需求进行设置,此处不作限定),计算得到话统数据的多个指标之间的马氏距离,取最大马氏距离的99.5%为门限范围,与测试数据进行比较,超出门限的部分定义为异常指标,连续4个(可根据实际需求进行设置,此处不作限定)异常指标定义为一个异常事件。
505、当测试数据超过所述门限范围时,确定所述测试数据为异常数据;
506、获取所述话统数据在传输过程中的原始流量信号;
507、对所述原始流量信号进行小波分解,得到低频信号序列和高频信号序列;
508、对所述低频信号序列和高频信号序列进行单支重构;
509、对单支重构后的所述低频信号序列和高频信号序列进行线性马尔科夫链预测;
510、将线性马尔科夫链预测后的预测结果叠加,得到流量预测结果;
511、通过随机森林构建异常数据和所述话统数据的关联模型;
512、对所述关联模型进行基尼指数分析,得到故障预测结果。
需要说明的是,步骤505~512可对应参考图3实施例中的步骤304~311,此处不再赘述。
本发明实施例中,能够根据不同场景、话务、忙闲等情况,动态计算门限值,从而实时给出异常数据提示,提高了检测的灵活性,满足精细化的维护需求。
请参阅图6,本发明所提供的检测方法的另一实施例包括:
601、获取话统数据;
需要说明的是,步骤601可对应参考图1实施例中的步骤101,此处不再赘述。
602、对所述话统数据进行预处理与入库;
需要说明的是,在进行后续检测之前,可对所述话统数据进行预处理与入库,以便提高数据处理效率。
603、对入库后的所述话统数据进行特征提取与分类;
需要说明的是,对入库后的所述话统数据进行特征提取与分类,以便高效提取有用数据。
604、根据所述话统数据构建高斯混合模型;
605、当进行多指标异常检测时,计算得到所述话统数据的多个指标之间的马氏距离;
606、根据所述马氏距离和在所述高斯混合模型中设置的异常门限百分比计算得到所述话统数据的门限范围;
607、当测试数据超过所述门限范围时,确定所述测试数据为异常数据;
608、获取所述话统数据在传输过程中的原始流量信号;
609、对所述原始流量信号进行小波分解,得到低频信号序列和高频信号序列;
610、对所述低频信号序列和高频信号序列进行单支重构;
611、对单支重构后的所述低频信号序列和高频信号序列进行线性马尔科夫链预测;
612、将线性马尔科夫链预测后的预测结果叠加,得到流量预测结果;
613、通过随机森林构建异常数据和所述话统数据的关联模型;
614、对所述关联模型进行基尼指数分析,得到故障预测结果。
需要说明的是,步骤604~614可对应参考图5实施例中的步骤502~512,此处不再赘述。
本发明实施例中,能够根据不同场景、话务、忙闲等情况,动态计算门限值,从而实时给出异常数据提示,提高了检测的灵活性,满足精细化的维护需求。
为便于理解,下面以一具体应用场景对本发明实施例中检测方法进行具体描述:
本发明主要承载在FMA上面,以增值特性包的方式销售客户或内部使用,同时支持专业服务场景。本发明主要采集UMTS的RNC的性能、告警、配置数据。其他制式,分析方法类似使用。
对于采集一个RNC的话统、告警、配置数据,话统的时间粒度为30min,链路对象包括SCTP(StreamControlTransmissionProtocol,流控制传输协议)链路、IPPATH链路、不同种类单板。其中,不同的链路对象配置不同的特征分组:
SCTP链路特征量定义,按照配置特征分组(接口类型、承载类型、应用类型、工作模式、物理接口)。每一个SCTP链路由(框号+槽号+SCTP链路号)唯一确定,每个SCTP链路每天每半小时的记录作为一个采样点;
每个SCTP链路收集性能数据(SCTP链路接收、发送平均速率、链路服务时长、拥塞时长、链路重传包数等性能参数)作为自变量,告警数据(SCTP链路相关故障)作为因变量;
IPPATH链路特征量,按照配置特征分组(接口类型、PATH类型、承载类型、逻辑端口承载、物理接口),数据处理同SCTP链路;
单板特征量定义,按照配置特征分组(单板种类、逻辑功能类型、是否备用、端口工作模式),数据分析同链路部分。
下面以SCTP链路为例进行说明:
首先采集UMTS的RNC的话统数据,并对该话统数据进行预处理与入库;对入库后的所述话统数据进行特征提取与分类;例如,通过相关性分析,得到SCTP话统数据指标中,重发次数与拥塞次数相关,收发字节与收发包数,收发消息数强相关,而可服务时长于他们几乎不相关,按照此思路来进行异常检测的数据提取。
采用基于统计的高斯混合模型算法,根据所述话统数据构建高斯混合模型;进行多指标异常检测时,对多指标之间进行关联分析,通过计算马氏距离矩阵,得到多指标之间的关联程度;
通过定义异常门限百分比0.5%(可根据实际需求进行设置,此处不作限定),计算得到话统数据的多个指标之间的马氏距离,取最大马氏距离的99.5%为门限范围,与测试数据进行比较,超出门限的部分定义为异常指标,连续4个(可根据实际需求进行设置,此处不作限定)异常指标定义为一个异常事件;
通过异常检测模块,在检测到测试数据超过所述门限范围时,确定所述测试数据为异常数据,即可找出异常的数据指标及时刻点。
进一步的,通过采集话统数据在传输过程中的原始流量信号可进行流量趋势检测;对所述原始流量信号进行小波分解,分别输出低频信号序列和高频信号序列,利用降采样的方法即在输出的两点中只取一个数据点,这样低频信号序列和高频信号序列长度为原信号长度的一半,记为C1和D1,虽然近似分量和细节分量的长度仅为原序列的一半,但却完整包含了原信号信息。其中低频信号序列C1进一步分解为C2和D2,分解的层次称为小波分解尺度。最终小波分解为f(x)=Cn+D1+D2+…+Dn。
对上述小波分解得到的每一个低频信号序列和高频信号序列进行单支重构,即插零操作,使得重构序列和原始序列的长度相同;对单支重构后的所述低频信号序列和高频信号序列进行线性马尔科夫链预测;其中,马尔科夫链预测,通过将训练数据进行差分平稳化处理(减去均值,除以方差),然后分割为不同的状态空间(距离窗口d可设置),求出一个状态转移到下一状态的概率矩阵,从而建立状态转移模型,测试数据根据状态转移概率矩阵,得到可能的下一步状态概率,从而实现下一步值的预测;将上述线性马尔科夫链预测后的每一个分支的预测结果叠加,得到最后的流量预测结果;
SCTP链路的异常受诸多自变量影响,哪些自变量是重要因素,哪些自变量是次要因素,对于研究SCTP的异常定位有指导作用。举例将SCTP链路性能数据做自变量,每一种异常转换后的异常事务做因变量(=0表示无异常,>0表示有异常,定义为1)。通过随机森林构建异常数据和所述话统数据的关联模型;对所述关联模型进行基尼指数分析,得到故障预测结果,从而实现未来流量导致的潜在故障预测。
以上对本发明中的检测方法进行了说明,下面将从装置的角度对检测装置的结构进行说明,请参阅图7,该检测装置包括:
第一获取单元701,用于获取话统数据;
第一构建单元702,用于根据所述话统数据构建高斯混合模型;
计算单元703,用于通过所述高斯混合模型计算得到所述话统数据的门限值;
确定单元704,用于在测试数据超过所述门限值时,确定所述测试数据为异常数据。
本发明实施例中,第一获取单元701获取话统数据,第一构建单元702根据所述话统数据构建高斯混合模型;计算单元703通过所述高斯混合模型计算得到所述话统数据的门限值;确定单元704在测试数据超过所述门限值时,确定所述测试数据为异常数据;因此,本发明能够根据不同场景、话务、忙闲等情况,动态计算门限值,从而实时给出异常数据提示,提高了检测的灵活性,满足精细化的维护需求。
基于上述实施例中的检测装置,可选的,如图8所示,在一个实施方式中,所述装置还包括:
第二获取单元801,用于获取所述话统数据在传输过程中的原始流量信号;
分解单元802,用于对所述原始流量信号进行小波分解,得到低频信号序列和高频信号序列;
重构单元803,用于对所述低频信号序列和高频信号序列进行单支重构;
预测单元804,用于对单支重构后的所述低频信号序列和高频信号序列进行线性马尔科夫链预测;
叠加单元805,用于将线性马尔科夫链预测后的预测结果叠加,得到流量预测结果。
本发明实施例中,第二获取单元801获取所述话统数据在传输过程中的原始流量信号,分解单元802对所述原始流量信号进行小波分解,得到低频信号序列和高频信号序列;重构单元803对所述低频信号序列和高频信号序列进行单支重构,预测单元804对单支重构后的所述低频信号序列和高频信号序列进行线性马尔科夫链预测;叠加单元805将线性马尔科夫链预测后的预测结果叠加,得到流量预测结果;因此,本实施例中通过时频域转换的流量预测,能够提前发现异常流量,以便及时处理异常事件。
基于上述实施例中的检测装置,可选的,如图9所示,在一个实施方式中,所述装置还包括:
第二构建单元901,用于通过随机森林构建异常数据和所述话统数据的关联模型;
分析单元902,用于对所述关联模型进行基尼指数分析,得到故障预测结果。
本发明实施例中,第二构建单元901通过随机森林构建异常数据和所述话统数据的关联模型;分析单元902对所述关联模型进行基尼指数分析,得到故障预测结果。因此,本发明实施例中通过关联模型的分析与预测,能够及时准确的进行故障定位,提高运维效率。
基于上述实施例中的检测装置,可选的,当进行单指标异常检测时,所述计算单元703具体用于通过在所述高斯混合模型中设置的异常门限百分比计算得到所述话统数据的门限范围。
基于上述实施例中的检测装置,可选的,如图10所示,在一个实施方式中,当进行多指标异常检测时,所述计算单元703具体包括:
第一计算模块1001,用于计算得到所述话统数据的多个指标之间的马氏距离;
第二计算模块1002,用于根据所述马氏距离和在所述高斯混合模型中设置的异常门限百分比计算得到所述话统数据的门限范围。
基于上述实施例中的检测装置,可选的,如图11所示,在一个实施方式中,所述装置还包括:
预处理单元1101,用于对所述话统数据进行预处理与入库;
分类单元1102,用于对入库后的所述话统数据进行特征提取与分类。
图7至图11所示的实施例从功能单元的角度对检测装置的具体结构进行了说明,以下结合图12所示的实施例从硬件角度对检测装置的具体结构进行说明:
如图12所示,该检测装置包括:接收器1201、发射器1202、处理器1203和存储器1204。
本发明实施例涉及的检测装置可以具有比图12所示出的更多或更少的部件,可以组合两个或更多个部件,或者可以具有不同的部件配置或设置,各个部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件或硬件和软件的组合实现。
该处理器1203用于读取该存储器1204中所存储的指令,以执行如下操作:
获取话统数据;
根据所述话统数据构建高斯混合模型;
通过所述高斯混合模型计算得到所述话统数据的门限值;
当测试数据超过所述门限值时,确定所述测试数据为异常数据。
本发明实施例中,该处理器1203获取话统数据,并根据所述话统数据构建高斯混合模型;该处理器1203通过所述高斯混合模型计算得到所述话统数据的门限值;且在测试数据超过所述门限值时,确定所述测试数据为异常数据;因此,本发明能够根据不同场景、话务、忙闲等情况,动态计算门限值,从而实时给出异常数据提示,提高了检测的灵活性,满足精细化的维护需求。
可选的,该处理器1203还用于执行如下操作:
获取所述话统数据在传输过程中的原始流量信号;
对所述原始流量信号进行小波分解,得到低频信号序列和高频信号序列;
对所述低频信号序列和高频信号序列进行单支重构;
对单支重构后的所述低频信号序列和高频信号序列进行线性马尔科夫链预测;
将线性马尔科夫链预测后的预测结果叠加,得到流量预测结果。
可选的,该处理器1203还用于执行如下操作:
通过随机森林构建异常数据和所述话统数据的关联模型;
对所述关联模型进行基尼指数分析,得到故障预测结果。
可选的,当进行单指标异常检测时,该处理器1203具体用于执行如下操作:
通过在所述高斯混合模型中设置的异常门限百分比计算得到所述话统数据的门限范围。
可选的,当进行多指标异常检测时,该处理器1203具体用于执行如下操作:
计算得到所述话统数据的多个指标之间的马氏距离;
根据所述马氏距离和在所述高斯混合模型中设置的异常门限百分比计算得到所述话统数据的门限范围。
可选的,该处理器1203还用于执行如下操作:
对所述话统数据进行预处理与入库;
对入库后的所述话统数据进行特征提取与分类。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (12)
1.一种检测方法,其特征在于,包括:
获取话统数据;
根据所述话统数据构建高斯混合模型;
通过所述高斯混合模型计算得到所述话统数据的门限值;
当测试数据超过所述门限值时,确定所述测试数据为异常数据。
2.根据权利要求1所述的检测方法,其特征在于,所述方法还包括:
获取所述话统数据在传输过程中的原始流量信号;
对所述原始流量信号进行小波分解,得到低频信号序列和高频信号序列;
对所述低频信号序列和高频信号序列进行单支重构;
对单支重构后的所述低频信号序列和高频信号序列进行线性马尔科夫链预测;
将线性马尔科夫链预测后的预测结果叠加,得到流量预测结果。
3.根据权利要求1所述的检测方法,其特征在于,所述方法还包括:
通过随机森林构建异常数据和所述话统数据的关联模型;
对所述关联模型进行基尼指数分析,得到故障预测结果。
4.根据权利要求1至3任一项所述的检测方法,其特征在于,当进行单指标异常检测时,所述通过所述高斯混合模型计算得到所述话统数据的门限值具体包括:
通过在所述高斯混合模型中设置的异常门限百分比计算得到所述话统数据的门限范围。
5.根据权利要求1至3任一项所述的检测方法,其特征在于,当进行多指标异常检测时,所述通过所述高斯混合模型计算得到所述话统数据的门限值具体包括:
计算得到所述话统数据的多个指标之间的马氏距离;
根据所述马氏距离和在所述高斯混合模型中设置的异常门限百分比计算得到所述话统数据的门限范围。
6.根据权利要求1至3任一项所述的检测方法,其特征在于,所述根据所述话统数据构建高斯混合模型之前还包括:
对所述话统数据进行预处理与入库;
对入库后的所述话统数据进行特征提取与分类。
7.一种检测装置,其特征在于,包括:
第一获取单元,用于获取话统数据;
第一构建单元,用于根据所述话统数据构建高斯混合模型;
计算单元,用于通过所述高斯混合模型计算得到所述话统数据的门限值;
确定单元,用于在测试数据超过所述门限值时,确定所述测试数据为异常数据。
8.根据权利要求7所述的检测装置,其特征在于,所述装置还包括:
第二获取单元,用于获取所述话统数据在传输过程中的原始流量信号;
分解单元,用于对所述原始流量信号进行小波分解,得到低频信号序列和高频信号序列;
重构单元,用于对所述低频信号序列和高频信号序列进行单支重构;
预测单元,用于对单支重构后的所述低频信号序列和高频信号序列进行线性马尔科夫链预测;
叠加单元,用于将线性马尔科夫链预测后的预测结果叠加,得到流量预测结果。
9.根据权利要求7所述的检测装置,其特征在于,所述装置还包括:
第二构建单元,用于通过随机森林构建异常数据和所述话统数据的关联模型;
分析单元,用于对所述关联模型进行基尼指数分析,得到故障预测结果。
10.根据权利要求7至9任一项所述的检测装置,其特征在于,当进行单指标异常检测时,所述计算单元具体用于通过在所述高斯混合模型中设置的异常门限百分比计算得到所述话统数据的门限范围。
11.根据权利要求7至9任一项所述的检测装置,其特征在于,当进行多指标异常检测时,所述计算单元具体包括:
第一计算模块,用于计算得到所述话统数据的多个指标之间的马氏距离;
第二计算模块,用于根据所述马氏距离和在所述高斯混合模型中设置的异常门限百分比计算得到所述话统数据的门限范围。
12.根据权利要求7至9任一项任一项所述的检测方法,其特征在于,所述装置还包括:
预处理单元,用于对所述话统数据进行预处理与入库;
分类单元,用于对入库后的所述话统数据进行特征提取与分类。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510350880.XA CN105099759A (zh) | 2015-06-23 | 2015-06-23 | 一种检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510350880.XA CN105099759A (zh) | 2015-06-23 | 2015-06-23 | 一种检测方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105099759A true CN105099759A (zh) | 2015-11-25 |
Family
ID=54579375
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510350880.XA Pending CN105099759A (zh) | 2015-06-23 | 2015-06-23 | 一种检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105099759A (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107066365A (zh) * | 2017-02-20 | 2017-08-18 | 阿里巴巴集团控股有限公司 | 一种系统异常的监测方法及装置 |
WO2018077152A1 (zh) * | 2016-10-24 | 2018-05-03 | 中国银联股份有限公司 | 一种主机变量异常检测方法及系统 |
CN108196985A (zh) * | 2017-12-29 | 2018-06-22 | 中国电子科技集团公司信息科学研究院 | 一种基于智能预测的存储系统故障预测方法与装置 |
WO2018177147A1 (en) * | 2017-03-31 | 2018-10-04 | Huawei Technologies Co., Ltd. | User-level kqi anomaly detection |
US10332056B2 (en) | 2016-03-14 | 2019-06-25 | Futurewei Technologies, Inc. | Features selection and pattern mining for KQI prediction and cause analysis |
WO2020150987A1 (zh) * | 2019-01-25 | 2020-07-30 | 华为技术有限公司 | 一种硬件故障预测方法及预测装置 |
CN113487362A (zh) * | 2021-07-14 | 2021-10-08 | 神策网络科技(北京)有限公司 | 异常用户的检测方法、装置及设备 |
CN114598618A (zh) * | 2020-12-07 | 2022-06-07 | 中国移动通信有限公司研究院 | 一种数据处理方法、装置及设备 |
WO2022121513A1 (zh) * | 2020-12-09 | 2022-06-16 | 中兴通讯股份有限公司 | 性能指标至差值的生成方法、装置、电子设备及存储介质 |
WO2022268030A1 (zh) * | 2021-06-24 | 2022-12-29 | 中兴通讯股份有限公司 | 流量预测处理方法、装置、系统、存储介质及电子装置 |
CN118094135A (zh) * | 2023-12-25 | 2024-05-28 | 四川中衡检测技术有限公司 | 一种基于大数据比对的水质检测方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101188107A (zh) * | 2007-09-28 | 2008-05-28 | 中国民航大学 | 一种基于小波包分解及混合高斯模型估计的语音识别方法 |
CN101739690A (zh) * | 2009-11-26 | 2010-06-16 | 西北工业大学 | 多相机协同运动目标检测方法 |
US20100299287A1 (en) * | 2009-05-22 | 2010-11-25 | Alcatel-Lucent Usa Inc. | Monitoring time-varying network streams using state-space models |
CN101944359A (zh) * | 2010-07-23 | 2011-01-12 | 杭州网豆数字技术有限公司 | 一种面向特定人群的语音识别方法 |
CN101964997A (zh) * | 2009-07-21 | 2011-02-02 | 中国移动通信集团黑龙江有限公司 | 网络性能预警方法及装置 |
CN102024343A (zh) * | 2010-12-20 | 2011-04-20 | 东南大学 | 停车场有效泊位占有率短时预测方法 |
CN102129688A (zh) * | 2011-02-24 | 2011-07-20 | 哈尔滨工业大学 | 一种针对复杂背景的运动目标检测方法 |
CN102647354A (zh) * | 2012-04-12 | 2012-08-22 | 东北大学 | 一种时变动态网络中端到端流量的重构方法 |
CN103186902A (zh) * | 2011-12-29 | 2013-07-03 | 爱思开电讯投资(中国)有限公司 | 基于视频的摔倒检测方法和设备 |
CN104504296A (zh) * | 2015-01-16 | 2015-04-08 | 湖南科技大学 | 高斯混合隐马尔可夫模型和回归分析的剩余寿命预测方法 |
-
2015
- 2015-06-23 CN CN201510350880.XA patent/CN105099759A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101188107A (zh) * | 2007-09-28 | 2008-05-28 | 中国民航大学 | 一种基于小波包分解及混合高斯模型估计的语音识别方法 |
US20100299287A1 (en) * | 2009-05-22 | 2010-11-25 | Alcatel-Lucent Usa Inc. | Monitoring time-varying network streams using state-space models |
CN101964997A (zh) * | 2009-07-21 | 2011-02-02 | 中国移动通信集团黑龙江有限公司 | 网络性能预警方法及装置 |
CN101739690A (zh) * | 2009-11-26 | 2010-06-16 | 西北工业大学 | 多相机协同运动目标检测方法 |
CN101944359A (zh) * | 2010-07-23 | 2011-01-12 | 杭州网豆数字技术有限公司 | 一种面向特定人群的语音识别方法 |
CN102024343A (zh) * | 2010-12-20 | 2011-04-20 | 东南大学 | 停车场有效泊位占有率短时预测方法 |
CN102129688A (zh) * | 2011-02-24 | 2011-07-20 | 哈尔滨工业大学 | 一种针对复杂背景的运动目标检测方法 |
CN103186902A (zh) * | 2011-12-29 | 2013-07-03 | 爱思开电讯投资(中国)有限公司 | 基于视频的摔倒检测方法和设备 |
CN102647354A (zh) * | 2012-04-12 | 2012-08-22 | 东北大学 | 一种时变动态网络中端到端流量的重构方法 |
CN104504296A (zh) * | 2015-01-16 | 2015-04-08 | 湖南科技大学 | 高斯混合隐马尔可夫模型和回归分析的剩余寿命预测方法 |
Non-Patent Citations (1)
Title |
---|
向志炎; 曹铁勇; 潘竟峰: "《基于自适应阈值的前景提取算法》", 《通信技术》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10332056B2 (en) | 2016-03-14 | 2019-06-25 | Futurewei Technologies, Inc. | Features selection and pattern mining for KQI prediction and cause analysis |
WO2018077152A1 (zh) * | 2016-10-24 | 2018-05-03 | 中国银联股份有限公司 | 一种主机变量异常检测方法及系统 |
CN107066365A (zh) * | 2017-02-20 | 2017-08-18 | 阿里巴巴集团控股有限公司 | 一种系统异常的监测方法及装置 |
WO2018177147A1 (en) * | 2017-03-31 | 2018-10-04 | Huawei Technologies Co., Ltd. | User-level kqi anomaly detection |
US10482158B2 (en) | 2017-03-31 | 2019-11-19 | Futurewei Technologies, Inc. | User-level KQI anomaly detection using markov chain model |
CN108196985A (zh) * | 2017-12-29 | 2018-06-22 | 中国电子科技集团公司信息科学研究院 | 一种基于智能预测的存储系统故障预测方法与装置 |
WO2020150987A1 (zh) * | 2019-01-25 | 2020-07-30 | 华为技术有限公司 | 一种硬件故障预测方法及预测装置 |
CN114598618A (zh) * | 2020-12-07 | 2022-06-07 | 中国移动通信有限公司研究院 | 一种数据处理方法、装置及设备 |
WO2022121513A1 (zh) * | 2020-12-09 | 2022-06-16 | 中兴通讯股份有限公司 | 性能指标至差值的生成方法、装置、电子设备及存储介质 |
WO2022268030A1 (zh) * | 2021-06-24 | 2022-12-29 | 中兴通讯股份有限公司 | 流量预测处理方法、装置、系统、存储介质及电子装置 |
CN113487362A (zh) * | 2021-07-14 | 2021-10-08 | 神策网络科技(北京)有限公司 | 异常用户的检测方法、装置及设备 |
CN118094135A (zh) * | 2023-12-25 | 2024-05-28 | 四川中衡检测技术有限公司 | 一种基于大数据比对的水质检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105099759A (zh) | 一种检测方法及装置 | |
CN105279365B (zh) | 用于学习异常检测的样本的方法 | |
CN112987675B (zh) | 一种异常检测的方法、装置、计算机设备和介质 | |
KR102274389B1 (ko) | 센서 데이터를 이용한 이상패턴 탐지 모델 구축 방법 및 이를 이용한 이상 탐지 장치 및 방법 | |
CN109489977B (zh) | 基于KNN-AdaBoost的轴承故障诊断方法 | |
CN113141208B (zh) | 一种实现光通道路径健康度评估和故障定位的方法及系统 | |
CN109889512B (zh) | 一种充电桩can报文的异常检测方法及装置 | |
CN110247910A (zh) | 一种异常流量的检测方法、系统及相关组件 | |
CN101783749B (zh) | 一种网络故障定位方法和装置 | |
CN112416643A (zh) | 无监督异常检测方法与装置 | |
CN110162445A (zh) | 基于主机日志及性能指标的主机健康评价方法及装置 | |
CN110414715B (zh) | 一种基于社团检测的客流量预警方法 | |
CN105260414A (zh) | 用户行为相似性计算方法及装置 | |
CN110188837A (zh) | 一种基于模糊神经的mvb网络故障诊断方法 | |
CN118214502B (zh) | 一种数字广播信号质量实时监控方法及系统 | |
Tremblay et al. | Quality of transmission estimation and performance prediction of lightpaths using machine learning | |
CN116915582A (zh) | 一种通信终端故障根因诊断分析方法及装置 | |
CN106680574B (zh) | 一种变电站设备过电压感知和数据处理方法 | |
CN117156442A (zh) | 基于5g网络的云数据安全保护方法及系统 | |
CN116389316A (zh) | 电力光通信网络故障感知方法、装置、设备及存储介质 | |
CN117749409A (zh) | 一种大规模网络安全事件分析系统 | |
CN118275890A (zh) | 电池异常的检测方法及检测装置 | |
CN117633779A (zh) | 电力网中网络威胁的元学习检测模型快速部署方法及系统 | |
CN114139648B (zh) | 一种尾矿充填管路异常智能检测方法及系统 | |
CN105466670A (zh) | 基于叶片电机电流信号的多叶准直器的健康状态监控方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20151125 |
|
RJ01 | Rejection of invention patent application after publication |