CN107846402A - 一种bgp稳定性异常检测方法、装置及电子设备 - Google Patents

一种bgp稳定性异常检测方法、装置及电子设备 Download PDF

Info

Publication number
CN107846402A
CN107846402A CN201711035063.0A CN201711035063A CN107846402A CN 107846402 A CN107846402 A CN 107846402A CN 201711035063 A CN201711035063 A CN 201711035063A CN 107846402 A CN107846402 A CN 107846402A
Authority
CN
China
Prior art keywords
autonomous
domain
autonomous domain
source
domains
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711035063.0A
Other languages
English (en)
Other versions
CN107846402B (zh
Inventor
张沛
黄小红
李丹丹
袁晟
赵仕祺
谢波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201711035063.0A priority Critical patent/CN107846402B/zh
Publication of CN107846402A publication Critical patent/CN107846402A/zh
Application granted granted Critical
Publication of CN107846402B publication Critical patent/CN107846402B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Debugging And Monitoring (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例提供了一种BGP稳定性异常检测方法、装置及电子设备，其中，该方法包括：获取预先保存的基自治域集合；统计不同时间段内基自治域集合中包括的各第一源自治域对应的更新报文的数量；针对每个第一源自治域，根据该第一源自治域对应的更新报文的数量，通过小波变换分析该第一源自治域在不同时间段内的异常情况；将各第一源自治域对应的异常情况，输入至预先训练的异常预测模型。通过本发明实施例提供的一种BGP稳定性异常检测方法、装置及电子设备，能够提高稳定性异常检测过程中的计算效率，减少占用的计算资源。

Description

一种BGP稳定性异常检测方法、装置及电子设备
技术领域
本发明涉及计算机通信技术领域，特别是涉及一种BGP(Border GatewayProtocol，边界网关协议)稳定性异常检测方法、装置及电子设备。
背景技术
BGP稳定性异常检测通过对自治域上更新报文数量的波动进行分析来实现。
现有的BGP稳定性异常检测方法，通过对所有的自治域上更新报文数量的波动进行分析，进而实现对全局网络稳定性异常的检测，而一般网络中则会包括多个自治域，如此使得稳定性异常检测过程中计算效率低、占用过多的计算资源。
发明内容
本发明实施例的目的在于提供一种BGP稳定性异常检测方法、装置及电子设备，以提高稳定性异常检测过程中的计算效率，减少占用的计算资源。具体技术方案如下：
第一方面，本发明实施例提供了一种边界网关协议BGP稳定性异常检测方法，包括：
获取预先保存的基自治域集合；
统计不同时间段内所述基自治域集合中包括的各第一源自治域对应的更新报文的数量；
针对每个第一源自治域，根据该第一源自治域对应的更新报文的数量，通过小波变换分析该第一源自治域在不同时间段内的异常情况；
将所述各第一源自治域对应的异常情况，输入至预先训练的异常预测模型，得到所有源自治域中除第一源自治域之外的各第二源自治域的异常情况，其中，所述异常预测模型是根据所述各第一源自治域的历史异常情况和所述各第二源自治域的历史异常情况训练得到的。
可选的，预先保存所述基自治域集合的过程，包括：
获取历史时间段内的更新报文，所述更新报文包括自治域路径和更新时间，并将各所述自治域路径中的最后一跳确定为对应的更新报文的源自治域；
统计历史不同时间段内不同源自治域对应的更新报文的数量；
针对每个源自治域，通过小波变换分析该源自治域在不同时间段内的异常情况；
根据各源自治域异常情况的不同，通过具有噪声的基于密度的聚类方法DBSCAN对各源自治域进行聚类分析，得到多个自治域聚类簇；
通过层次抽样方法，从多个自治域聚类簇中抽样，得到包含多个第一源自治域的基自治域集合。
可选的，所述根据该第一源自治域对应的更新报文的数量，通过小波变换分析该第一源自治域在不同时间段内的异常情况，包括：
确定该第一源自治域对应的更新报文的数量对应的变化向量；
通过预设变换参数，对所述变化向量进行小波变换，得到近似系数；
计算所述变化向量和所述近似系数之间的差值，并根据所述差值与预设阈值之间的关系，确定该第一源自治域在不同时间段内的异常情况。
可选的，所述异常预测模型的训练过程，包括：
根据基自治域集合中各第一源自治域的历史异常情况，以及所述各第二源自治域的历史异常情况，通过梯度提升决策树GBDT模型，训练得到异常预测模型。
可选的，所述统计不同时间段内所述基自治域集合中包括的各第一源自治域对应的更新报文的数量，包括：
获取当前时间段内的更新报文，所述更新报文包括自治域路径和更新时间，并将各所述自治域路径中的最后一跳确定为对应的更新报文的源自治域；
统计当前不同时间段内所述基自治域集合中包括的各第一源自治域对应的更新报文的数量。
可选的，所述获取当前时间段内的更新报文，包括：
通过第三方数据平台获取当前时间段内的更新报文；或者，
通过路由软件建立对等peer连接采集当前时间段内的更新报文。
第二方面，本发明实施例提供了一种边界网关协议BGP稳定性异常检测装置，包括：
第一获取模块，用于获取预先保存的基自治域集合；
第一统计模块，用于统计不同时间段内所述基自治域集合中包括的各第一源自治域对应的更新报文的数量；
第一分析模块，用于针对每个第一源自治域，根据该第一源自治域对应的更新报文的数量，通过小波变换分析该第一源自治域在不同时间段内的异常情况；
预测模块，用于将所述各第一源自治域对应的异常情况，输入至预先训练的异常预测模型，得到所有源自治域中除第一源自治域之外的各第二源自治域的异常情况，其中，所述异常预测模型是根据所述各第一源自治域的历史异常情况和所述各第二源自治域的历史异常情况训练得到的。
可选的，所述装置还包括：
第二获取模块，用于获取历史时间段内的更新报文，所述更新报文包括自治域路径和更新时间，并将各所述自治域路径中的最后一跳确定为对应的更新报文的源自治域；
第二统计模块，用于统计历史不同时间段内不同源自治域对应的更新报文的数量；
第二分析模块，用于针对每个源自治域，通过小波变换分析该源自治域在不同时间段内的异常情况；
聚类模块，用于根据各源自治域异常情况的不同，通过具有噪声的基于密度的聚类方法DBSCAN对各源自治域进行聚类分析，得到多个自治域聚类簇；
抽样模块，用于通过层次抽样方法，从多个自治域聚类簇中抽样，得到包含多个第一源自治域的基自治域集合。
可选的，所述第一分析模块包括：
第一确定子模块，用于确定该第一源自治域对应的更新报文的数量对应的变化向量；
变换子模块，用于通过预设变换参数，对所述变化向量进行小波变换，得到近似系数；
第二确定子模块，用于计算所述变化向量和所述近似系数之间的差值，并根据所述差值与预设阈值之间的关系，确定该第一源自治域在不同时间段内的异常情况。
第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现第一方面所述的方法步骤。
本发明实施例提供的BGP稳定性异常检测方法、装置及电子设备，可以通过获取预先保存的基自治域集合；统计不同时间段内基自治域集合中包括的各第一源自治域对应的更新报文的数量；针对每个第一源自治域，根据该第一源自治域对应的更新报文的数量，通过小波变换分析该第一源自治域在不同时间段内的异常情况；将第一源自治域对应的异常情况，输入至异常预测模型，得到所有源自治域中除第一源自治域之外的、第二源自治域的异常情况。如此，计算部分源自治域的异常情况，并根据部分源自治域的异常情况预测其他源自治域的异常情况，不需要通过分析更新报文的数量的变化情况，检测所有的源自治域的异常情况，提高稳定性异常检测过程中的计算效率，减少占用的计算资源。当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的BGP稳定性异常检测方法的流程图；
图2为本发明实施例中离线确定基自治域集合的流程图；
图3为本发明实施例中检测异常情况的流程图；
图4为本发明实施例中聚类分析的流程图；
图5为本发明实施例中具体实例的框图；
图6为本发明实施例提供的BGP稳定性异常检测装置的结构示意图；
图7为本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种BGP稳定性异常检测方法，如图1所示，包括：
S101，获取预先保存的基自治域集合。
基自治域集合可以是离线计算完成后保存的。基自治域集合中可以包括多个源自治域。通过历史不同时间段内不同源自治域对应的更新报文的数量，检测各源自治域在不同时间段内的异常情况，并根据各源自治域异常情况的不同，对各源自治域进行聚类分析，得到多个自治域聚类簇；进而通过层次抽样方法，从多个自治域聚类簇中抽样，确定基自治域集合。
S102，统计不同时间段内基自治域集合中包括的各第一源自治域对应的更新报文的数量。
更新报文包括IP(Internet Protocol，网络互连协议)前缀、自治域路径、更新时间。将自治域路径中最后一跳的自治域确定为该更新报文对应的源自治域。基自治域集合中可以包括多个源自治域，为了区分于不存在于基自治域集合中的源自治域，本发明实施例中将基自治域集合中的源自治域称为第一源自治域。
根据更新报文中的更新时间以及更新报文对应的源自治域的不同，统计不同时间段内基自治域集合中包括的各第一源自治域对应的更新报文的数量。
S103，针对每个第一源自治域，根据该第一源自治域对应的更新报文的数量，通过小波变换分析该第一源自治域在不同时间段内的异常情况。
通过检测更新报文数量波动的异常，检测第一源自治域的异常情况。小波变换是一种时域-频域的变换分析方法，通过小波变换检测频域突变，检测更新报文数量波动的异常，进而检测第一源自治域的异常情况。
S104，将各第一源自治域对应的异常情况，输入至预先训练的异常预测模型，得到所有源自治域中除第一源自治域之外的各第二源自治域的异常情况，其中，异常预测模型是根据各第一源自治域的历史异常情况和各第二源自治域的历史异常情况训练得到的。
预先训练异常预测模型，将得到的第一源自治域的异常情况输入至该异常预测模型，得到所有源自治域中除第一源自治域之外的各第二源自治域的异常情况。例如，第一源自治域1异常的情况下，得到第二源自治域2、第二源自治域3异常。
训练异常检测模型可以通过：将基自治域集合包括的各第一源自治域的异常状态作为训练集，所有源自治域中除第一源自治域之外的剩余源自治域，即第二源自治域的异常状态作为预测目标训练GBDT模型。具体地，输入各第一源自治域对应的异常情况，调整GBDT模型的参数，直至通过模型得到的各第二源自治域的异常情况与实际的一致，完成模型的训练，得到异常预测模型。
本发明实施例提供的BGP稳定性异常检测方法中，计算部分源自治域的异常情况，并根据部分源自治域的异常情况预测其他源自治域的异常情况，不需要通过分析更新报文的数量的变化情况，检测所有的源自治域的异常情况，提高稳定性异常检测过程中的计算效率，减少占用的计算资源。
本发明实施例中，通过获取预先保存的基自治域集合，具体地，预先保存的基自治域集合可以是离线确定的基自治域集合。然后，通过实时分析基自治域集合中包括的各第一源自治域当前时间段内的更新报文的数量，得到各第一源自治域的异常情况。接着，将得到的各第一源自治域的异常情况输入至预先训练的异常预测模型，得到所有源自治域中除第一源自治域之外的剩余源自治域，即各第二自治域的异常情况。如此，只需要分析各第一源自治域的更新报文的数量，得到各第一源自治域的异常情况，即可根据各第一源自治域的异常情况预测出各第二源自治域的异常情况。
本发明实施例一种可选的实施例中，离线确定基自治域集合的过程，如图2所示，包括：
S201，获取历史时间段内的更新报文，更新报文包括自治域路径和更新时间，并将各自治域路径中的最后一跳确定为对应的更新报文的源自治域。
获取更新报文，可以通过第三方数据平台获取当前时间段内的更新报文；或者，通过路由软件建立对等peer连接采集当前时间段内的更新报文。
具体地，可以通过采集开放数据平台，例如，RIPE NCC(Réseaux IP EuropéensNetwork Coordination Centre，欧洲IP网络协调中心)、RouteView，获取更新报文的相关数据。或者，可以通过路由软件，例如，Quagga、BGPMon，与作为采集点的路由器建立peer(对等)连接，进而获取更新报文的相关数据。
S202，统计历史不同时间段内不同源自治域对应的更新报文的数量。
可以对获取到的更新报文进行解析。采集到的更新报文的相关数据一般是MRT(Multi-Threaded Routing Toolkit，多线程路由工具包)格式文件，可以通过可执行文件BGPDump将MRT格式文件解析为纯文本数据。
分析原始的BGP更新报文的相关数据，提取更新报文中的IP前缀、自治域路径、更新时间等数据字段。从自治域路径上分离出最后一跳的源自治域，将所有的更新报文按源自治域进行分组，对每个源自治域内的数据按预设时间间隔，例如，1天，进行更新报文数量的统计。如此得到矩阵S，矩阵S的元素sij表示不同时间段内不同源自治域对应的更新报文的数量，i表示行，对应不同的源自治域，j表示列，对应不同的时间段。
S203，针对每个源自治域，通过小波变换分析该源自治域在不同时间段内的异常情况。
第一步，确定源自治域对应的更新报文的数量对应的变化向量。
第二步，通过预设变换参数，对变化向量进行小波变换，得到近似系数。
第三步，计算变化向量和近似系数之间的差值，并根据差值与预设阈值之间的关系，确定源自治域在不同时间段内的异常情况。
具体地，可以通过如图3所示的流程得到每个源自治域在不同时间段内的异常情况。
数据:自治域更新数时间序列向量，即矩阵S中的行向量Si；
参数：L＝2，W＝′db2′，C＝0.15
1.使用最大值标准化Si，对Si使用离散小波变换，参数Level＝L，Wave＝W。
cA,cD＝wavedec(Si,L,W)
2.扩充近似系数cA→cA′，p＝2L-1，length(cA′)＝length(Si)
3.计算Si与cA′之间的差，也就是计算时间序列向量中的元素与扩充后的近似系数的差值，判断该差值是否大于预设阈值C，如果是，则确定为异常；如果否，则确定为正常。如此得到Mi，即源自治域在不同时间段异常情况的异常事件向量。
Mi＝Sij-cA′j＞C
对每个第一源自治域进行上述过程，对应于每个第一源自治域可以得到异常事件向量，进而可以得到异常矩阵M。如此可以得到每个源自治域在不同时间段内的异常情况。
S204，根据各源自治域异常情况的不同，通过DBSCAN(Density-Based SpatialClustering of Applications with Noise，具有噪声的基于密度的聚类方法)对各源自治域进行聚类分析，得到多个自治域聚类簇。
例如，可以根据各源自治域异常的时间点的不同等，通过DBSCAN对各源自治域进行聚类分析，得到多个自治域聚类簇，也就是将所有的源自治域分为不同的类。
具体地，对各源自治域进行聚类分析可以参照如图4所示的流程。
各个源自治域在不同时间段异常情况的异常事件向量Mi，形成异常矩阵M，异常矩阵可以是二元矩阵，例如，1表示异常，0表示正常。
矩阵M每一非0列上的值除以该列上所有值的和；初始化聚类参数eps，end；
eps<end时，通过具有噪声的基于密度的聚类方法DBSCAN进行聚类；将聚类结果加入聚类集合中；Eps+＝0.05，从矩阵M中移除已被聚类的源自治域对应的行；直至eps<end不满足时，结束整个流程，完成聚类分析的过程。
例如，可以通过下面伪代码完成聚类分析的过程。伪代码如下：
1.
2.对矩阵M进行变换，Sum(M*j)表示矩阵M第j列的和(为0的列去除)
3.for eps＝0.05 to 0.3，step＝0.05
4.r＝DBSCAN(M′,eps)
5.R←R∪{r}
6.将已分类自治域代表的行从M′中剔除。
聚类分析是本发明实施例的核心步骤，根据聚类分析结果能够优化后续异常预测模型对异常事件预测的准确率。本发明实施例采用的聚类算法能够充分反映源自治域在规模性异常事件中所表现出的相关性关系，异常矩阵能够反映当前异常的重要程度。聚类的中间结果还能够作为异常事件的后续分析中的数据参考。
S205，通过层次抽样方法，从多个自治域聚类簇中抽样，得到包含多个第一源自治域的基自治域集合。
例如，A为所有源自治域的集合，根据
|B|＜|A|，A为源自治域集合，测试例中选取)，抽取基自治域的集合B。
得到基自治域的集合后，训练异常预测模型。本发明实施例一种可选的实施例中，异常预测模型的训练过程，包括：
根据基自治域集合中各第一源自治域的历史异常情况，以及各第二源自治域的历史异常情况，通过GBDT(Gradient Boosting Decision Tree，梯度提升决策树)模型，训练得到异常预测模型。
将基自治域集合包括的各第一源自治域的异常状态作为训练集，所有源自治域中除第一源自治域之外的剩余源自治域，即第二源自治域的异常状态作为预测目标训练GBDT模型，如此训练得到异常预测模型。训练得到异常预测模型，即得到各第一源自治域的异常状态与第二源自治域的异常状态的对应关系。例如，第一源自治域为异常时，第二源自治域1为异常；或者第一源自治域和第二源自治域为异常时，第二源自治域1为异常等等。在数据更新和迭代的过程中，迭代更新异常预测模型。
本发明实施例中，根据预先训练的异常预测模型能够快速地检测出BGP稳定性异常，不需要进行全量的复杂运算来检测异常，使得可以高效地检测异常；同时，低存储与较少的计算资源开销，能够适应实时系统。
在一个具体的实施例中，如图5所示，通过离线模块实现聚类分析、模型训练、模型存储；通过在线模块实现模型载入、实时分析、异常检测。
具体地，离线模块主要根据历史数据进行分析得到基自治域集合，以及训练得到异常预测模型。具体包括：检测历史稳定性异常事件，自治域聚类，训练异常预测模型和存储训练好的异常预测模型。在线模块主要根据实时数据快速地进行异常检测与预测。具体包括：载入异常预测模型，实时分析与异常检测，异常事件预测。
在进行数据分析之前，首先需要采集数据，本实施例中通过数据采集模块实现对数据的采集。
数据采集模块具体实施过程如下：
1.采集原始的BGP更新报文数据。
a)使用爬虫从第三方平台采集历史数据包。
b)使用路由软件与BGP路由器建立peer连接采集实时数据。
2.解析原始的BGP更新报文数据。
a)对于MRT格式文件使用BGPDump解析为纯文本数据。
b)使用BGPMon进行数据采集的情况下，基于BGPMon更新报文数据XML格式进行解析。
3.构造自治域更新报文数量数据集。
a)历史数据为时序序列，送入离线模块进行后续处理。
b)实时数据为当前时间段内更新数据，后续送入在线模块进行处理，同时存入历史数据集中。
离线模块具体实施过程如下：
1.读入离线模块配置文件。包括异常检测算法参数、聚类算法参数以及异常预测模型训练参数。
a)异常检测算法参数：L＝2，W＝′db2′，C＝0.15
b)聚类算法参数：eps＝0.05 to 0.3，step＝0.05
c)异常预测模型参数：默认参数。
2.载入更新报文矩阵，即获取到历史不同时间段内不同源自治域对应的更新报文的数量。通过上述步骤S203的过程，检测各源自治域的异常情况，具体可以得到表示异常情况的二元矩阵。
3.根据2中得到的结果，即各源自治域的异常情况。通过上述步骤S204的过程，进行聚类分析，得到聚类结果以及基自治域集合，并保存在文件中。
4.根据3中得到的结果，使用软件包XGBoost训练GBDT，得到异常预测模型，并将模型训练结果存储到文件中。
5.利用更新的数据迭代更新地训练异常预测模型。
在线模块的具体实施过程如下：
i.读入在线模块配置文件。异常检测算法参数与离线模块中的参数保持一致。
ii.读入离线模块生成的异常预测模型保存文件，在内存中还原异常预测模型。
iii.读入离线模块生成的基自治域集合。
iv.从数据队列中读取基自治域相关的实时数据，即获取到当前时间段内基自治域集合中包括的各第一源自治域对应的更新报文的数量，将该实时数据按时序临时存储至内存中，构造自治域更新时序序列。
v.通过上述步骤S203的过程，检测基自治域集合中包括的各第一源自治域的异常情况，得到基自治域集合中包括的各第一源自治域当前的异常情况。
vi.将基自治域集合中包括的各第一源自治域当前的异常情况，输入至异常预测模型中，得到所有源自治域中除第一自治域之外的剩余自治域的异常情况，即各第二源自治域的异常情况。将保存异常检测的结果。
vii.重复步骤iv-vi进行实时的异常检测，定期执行步骤i-iii载入更新数据。
本发明实施例中，将复杂的运算与实时异常检测分离开来。历史数据分析、历史异常检测与异常预测模型训练作为复杂的离线模块，一次执行后存储运算结果，多次使用。实时异常检测时，只需要在线对小部分源自治域进行异常检测，并将检测得到的结果输入至预先训练的异常预测模型，即可得到其他的源自治域的异常情况，如此，减小了实时运算过程的存储与运算开销。同时，预测结果平均AUC(Area Under Curve，ROC曲线下的面积)-ROC(Receiver Operating Characteristic Curve，受试者工作特征曲线)指标达到0.9，AUC表示预测结果中任取一个正例和一个反例，正例得分大于反例得分的概率。
本发明实施例提供了一种边界网关协议BGP稳定性异常检测装置，如图6所示，包括：
第一获取模块601，用于获取预先保存的基自治域集合；
第一统计模块602，用于统计不同时间段内基自治域集合中包括的各第一源自治域对应的更新报文的数量；
第一分析模块603，用于针对每个第一源自治域，根据该第一源自治域对应的更新报文的数量，通过小波变换分析该第一源自治域在不同时间段内的异常情况；
预测模块604，用于将各第一源自治域对应的异常情况，输入至预先训练的异常预测模型，得到所有源自治域中除第一源自治域之外的各第二源自治域的异常情况，其中，异常预测模型是根据各第一源自治域的历史异常情况和各第二源自治域的历史异常情况训练得到的。
本发明实施例提供的BGP稳定性异常检测装置中，计算部分源自治域的异常情况，并根据部分源自治域的异常情况预测其他源自治域的异常情况，不需要通过分析更新报文的数量的变化情况，检测所有的源自治域的异常情况，提高稳定性异常检测过程中的计算效率，减少占用的计算资源。
可选的，该装置还包括：
第二获取模块，用于获取历史时间段内的更新报文，更新报文包括自治域路径和更新时间，并将各自治域路径中的最后一跳确定为对应的更新报文的源自治域；
第二统计模块，用于统计历史不同时间段内不同源自治域对应的更新报文的数量；
第二分析模块，用于针对每个源自治域，通过小波变换分析该源自治域在不同时间段内的异常情况；
聚类模块，用于根据各源自治域异常情况的不同，通过具有噪声的基于密度的聚类方法DBSCAN对各源自治域进行聚类分析，得到多个自治域聚类簇；
抽样模块，用于通过层次抽样方法，从多个自治域聚类簇中抽样，得到包含多个第一源自治域的基自治域集合。
可选的，第一分析模块603包括：
第一确定子模块，用于确定该第一源自治域对应的更新报文的数量对应的变化向量；
变换子模块，用于通过预设变换参数，对变化向量进行小波变换，得到近似系数；
第二确定子模块，用于计算变化向量和近似系数之间的差值，并根据差值与预设阈值之间的关系，确定该第一源自治域在不同时间段内的异常情况。
可选的，该装置还包括：训练模块，用于根据基自治域集合中各第一源自治域的历史异常情况，以及各第二源自治域的历史异常情况，通过梯度提升决策树GBDT模型，训练得到异常预测模型。
可选的，第一统计模块602包括：
获取子模块，用于获取当前时间段内的更新报文，更新报文包括自治域路径和更新时间，并将各自治域路径中的最后一跳确定为对应的更新报文的源自治域；
统计子模块，用于统计当前不同时间段内基自治域集合中包括的各第一源自治域对应的更新报文的数量。
可选的，获取子模块，用于通过第三方数据平台获取当前时间段内的更新报文；或者，通过路由软件建立对等peer连接采集当前时间段内的更新报文。
需要说明的是，本发明实施例的BGP稳定性异常检测装置是应用上述BGP稳定性异常检测方法的装置，则上述BGP稳定性异常检测方法的所有实施例均适用于该装置，且均能达到相同或相似的有益效果。
本发明实施例还提供了一种电子设备，如图7所示，包括处理器701、通信接口702、存储器703和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信，
存储器703，用于存放计算机程序；
处理器701，用于执行存储器703上所存放的程序时，实现上述BGP稳定性异常检测方法的方法步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例提供的电子设备，计算部分源自治域的异常情况，并根据部分源自治域的异常情况预测其他源自治域的异常情况，不需要通过分析更新报文的数量的变化情况，检测所有的源自治域的异常情况，提高稳定性异常检测过程中的计算效率，减少占用的计算资源。
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现上述BGP稳定性异常检测方法的方法步骤。
本发明实施例提供的计算机可读存储介质，计算部分源自治域的异常情况，并根据部分源自治域的异常情况预测其他源自治域的异常情况，不需要通过分析更新报文的数量的变化情况，检测所有的源自治域的异常情况，提高稳定性异常检测过程中的计算效率，减少占用的计算资源。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种边界网关协议BGP稳定性异常检测方法，其特征在于，包括：
获取预先保存的基自治域集合；
统计不同时间段内所述基自治域集合中包括的各第一源自治域对应的更新报文的数量；
针对每个第一源自治域，根据该第一源自治域对应的更新报文的数量，通过小波变换分析该第一源自治域在不同时间段内的异常情况；
将所述各第一源自治域对应的异常情况，输入至预先训练的异常预测模型，得到所有源自治域中除第一源自治域之外的各第二源自治域的异常情况，其中，所述异常预测模型是根据所述各第一源自治域的历史异常情况和所述各第二源自治域的历史异常情况训练得到的。
2.根据权利要求1所述的方法，其特征在于，预先保存所述基自治域集合的过程，包括：
获取历史时间段内的更新报文，所述更新报文包括自治域路径和更新时间，并将各所述自治域路径中的最后一跳确定为对应的更新报文的源自治域；
统计历史不同时间段内不同源自治域对应的更新报文的数量；
针对每个源自治域，通过小波变换分析该源自治域在不同时间段内的异常情况；
根据各源自治域异常情况的不同，通过具有噪声的基于密度的聚类方法DBSCAN对各源自治域进行聚类分析，得到多个自治域聚类簇；
通过层次抽样方法，从多个自治域聚类簇中抽样，得到包含多个第一源自治域的基自治域集合。
3.根据权利要求1所述的方法，其特征在于，所述根据该第一源自治域对应的更新报文的数量，通过小波变换分析该第一源自治域在不同时间段内的异常情况，包括：
确定该第一源自治域对应的更新报文的数量对应的变化向量；
通过预设变换参数，对所述变化向量进行小波变换，得到近似系数；
计算所述变化向量和所述近似系数之间的差值，并根据所述差值与预设阈值之间的关系，确定该第一源自治域在不同时间段内的异常情况。
4.根据权利要求1所述的方法，其特征在于，所述异常预测模型的训练过程，包括：
根据基自治域集合中各第一源自治域的历史异常情况，以及所述各第二源自治域的历史异常情况，通过梯度提升决策树GBDT模型，训练得到异常预测模型。
5.根据权利要求1所述的方法，其特征在于，所述统计不同时间段内所述基自治域集合中包括的各第一源自治域对应的更新报文的数量，包括：
获取当前时间段内的更新报文，所述更新报文包括自治域路径和更新时间，并将各所述自治域路径中的最后一跳确定为对应的更新报文的源自治域；
统计当前不同时间段内所述基自治域集合中包括的各第一源自治域对应的更新报文的数量。
6.根据权利要求5所述的方法，其特征在于，所述获取当前时间段内的更新报文，包括：
通过第三方数据平台获取当前时间段内的更新报文；或者，
通过路由软件建立对等peer连接采集当前时间段内的更新报文。
7.一种边界网关协议BGP稳定性异常检测装置，其特征在于，包括：
第一获取模块，用于获取预先保存的基自治域集合；
第一统计模块，用于统计不同时间段内所述基自治域集合中包括的各第一源自治域对应的更新报文的数量；
第一分析模块，用于针对每个第一源自治域，根据该第一源自治域对应的更新报文的数量，通过小波变换分析该第一源自治域在不同时间段内的异常情况；
预测模块，用于将所述各第一源自治域对应的异常情况，输入至预先训练的异常预测模型，得到所有源自治域中除第一源自治域之外的各第二源自治域的异常情况，其中，所述异常预测模型是根据所述各第一源自治域的历史异常情况和所述各第二源自治域的历史异常情况训练得到的。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
第二获取模块，用于获取历史时间段内的更新报文，所述更新报文包括自治域路径和更新时间，并将各所述自治域路径中的最后一跳确定为对应的更新报文的源自治域；
第二统计模块，用于统计历史不同时间段内不同源自治域对应的更新报文的数量；
第二分析模块，用于针对每个源自治域，通过小波变换分析该源自治域在不同时间段内的异常情况；
聚类模块，用于根据各源自治域异常情况的不同，通过具有噪声的基于密度的聚类方法DBSCAN对各源自治域进行聚类分析，得到多个自治域聚类簇；
抽样模块，用于通过层次抽样方法，从多个自治域聚类簇中抽样，得到包含多个第一源自治域的基自治域集合。
9.根据权利要求7所述而定装置，其特征在于，所述第一分析模块包括：
第一确定子模块，用于确定该第一源自治域对应的更新报文的数量对应的变化向量；
变换子模块，用于通过预设变换参数，对所述变化向量进行小波变换，得到近似系数；
第二确定子模块，用于计算所述变化向量和所述近似系数之间的差值，并根据所述差值与预设阈值之间的关系，确定该第一源自治域在不同时间段内的异常情况。
10.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-6任一所述的方法步骤。
CN201711035063.0A 2017-10-30 2017-10-30 一种bgp稳定性异常检测方法、装置及电子设备 Active CN107846402B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711035063.0A CN107846402B (zh) 2017-10-30 2017-10-30 一种bgp稳定性异常检测方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711035063.0A CN107846402B (zh) 2017-10-30 2017-10-30 一种bgp稳定性异常检测方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN107846402A true CN107846402A (zh) 2018-03-27
CN107846402B CN107846402B (zh) 2019-12-13

Family

ID=61681824

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711035063.0A Active CN107846402B (zh) 2017-10-30 2017-10-30 一种bgp稳定性异常检测方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN107846402B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110572386A (zh) * 2019-09-03 2019-12-13 赛尔网络有限公司 排名统计监测方法、装置
CN110995587A (zh) * 2019-12-10 2020-04-10 北京邮电大学 一种路由不稳定事件源定位方法及装置
CN111835791A (zh) * 2020-07-30 2020-10-27 哈尔滨工业大学 一种bgp安全事件快速检测系统
CN112737885A (zh) * 2020-12-28 2021-04-30 鹏城实验室 一种自治域内自管理的bgp异常检测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101471824A (zh) * 2007-12-29 2009-07-01 中国科学院计算技术研究所 一种边界网关协议网络的异常监测系统及方法
CN101848160A (zh) * 2010-05-26 2010-09-29 钱叶魁 在线检测和分类全网络流量异常的方法
US7823202B1 (en) * 2007-03-21 2010-10-26 Narus, Inc. Method for detecting internet border gateway protocol prefix hijacking attacks
US20100275262A1 (en) * 2009-04-22 2010-10-28 Hewlett Packard Development Company Lp Autonomous Diagnosis And Mitigation Of Network Anomalies
CN102111312A (zh) * 2011-03-28 2011-06-29 钱叶魁 基于多尺度主成分分析的网络异常检测方法
CN103856367A (zh) * 2012-12-06 2014-06-11 中国电信股份有限公司 Ip网络路由安全快速检测方法及路由分析服务器
CN106411597A (zh) * 2016-10-14 2017-02-15 广东工业大学 一种网络流量异常检测方法及系统
US20170180418A1 (en) * 2015-12-21 2017-06-22 Symantec Corporation Accurate real-time identification of malicious bgp hijacks

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7823202B1 (en) * 2007-03-21 2010-10-26 Narus, Inc. Method for detecting internet border gateway protocol prefix hijacking attacks
CN101471824A (zh) * 2007-12-29 2009-07-01 中国科学院计算技术研究所 一种边界网关协议网络的异常监测系统及方法
US20100275262A1 (en) * 2009-04-22 2010-10-28 Hewlett Packard Development Company Lp Autonomous Diagnosis And Mitigation Of Network Anomalies
CN101848160A (zh) * 2010-05-26 2010-09-29 钱叶魁 在线检测和分类全网络流量异常的方法
CN102111312A (zh) * 2011-03-28 2011-06-29 钱叶魁 基于多尺度主成分分析的网络异常检测方法
CN103856367A (zh) * 2012-12-06 2014-06-11 中国电信股份有限公司 Ip网络路由安全快速检测方法及路由分析服务器
US20170180418A1 (en) * 2015-12-21 2017-06-22 Symantec Corporation Accurate real-time identification of malicious bgp hijacks
CN106411597A (zh) * 2016-10-14 2017-02-15 广东工业大学 一种网络流量异常检测方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BAHAA AL-MUSAWI等: ""BGP Anomaly Detection Techniques: A Survey"", 《IEEE COMMUNICATIONS SURVEYS & TUTORIALS》 *
CHIARA ORSINI等: ""BGPStream: A Software Framework for Live and Historical BGP Data Analysis"", 《ACM PROCEEDINGS OF THE 2016 INTERNET MEASUREMENT CONFERENCE》 *
JIANNING MAI等: ""Detecting BGP Anomalies with Wavelet"", 《NOMS 2008 - 2008 IEEE NETWORK OPERATIONS AND MANAGEMENT SYMPOSIUM》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110572386A (zh) * 2019-09-03 2019-12-13 赛尔网络有限公司 排名统计监测方法、装置
CN110995587A (zh) * 2019-12-10 2020-04-10 北京邮电大学 一种路由不稳定事件源定位方法及装置
CN110995587B (zh) * 2019-12-10 2020-12-25 北京邮电大学 一种路由不稳定事件源定位方法及装置
CN111835791A (zh) * 2020-07-30 2020-10-27 哈尔滨工业大学 一种bgp安全事件快速检测系统
CN111835791B (zh) * 2020-07-30 2022-10-28 哈尔滨工业大学 一种bgp安全事件快速检测系统
CN112737885A (zh) * 2020-12-28 2021-04-30 鹏城实验室 一种自治域内自管理的bgp异常检测方法
CN112737885B (zh) * 2020-12-28 2022-05-03 鹏城实验室 一种自治域内自管理的bgp异常检测方法

Also Published As

Publication number Publication date
CN107846402B (zh) 2019-12-13

Similar Documents

Publication Publication Date Title
CN107846402B (zh) 一种bgp稳定性异常检测方法、装置及电子设备
US10587632B1 (en) Neural network-based malware detection
CN110609759A (zh) 一种故障根因分析的方法及装置
CN109120463B (zh) 流量预测方法及装置
Huang et al. Forecasting container throughput of Qingdao port with a hybrid model
CN109413071B (zh) 一种异常流量检测方法及装置
Hameed et al. A deep learning approach for IoT traffic multi-classification in a smart-city scenario
CN114090326B (zh) 一种告警的根因确定方法、装置及设备
CN113723716B (zh) 一种客流分级预警异常告警方法、设备及存储介质
CN115565038A (zh) 内容审核、内容审核模型的训练方法及相关装置
CN110956278A (zh) 重新训练机器学习模型的方法和系统
CN116311880A (zh) 基于局部-全局时空特征融合的交通流量预测方法及设备
CN110138681B (zh) 一种基于tcp报文特征的网络流量识别方法及装置
CN115296984A (zh) 异常网络节点的检测方法及装置、设备、存储介质
CN113435307B (zh) 一种基于视觉识别技术的运维方法、系统及存储介质
Saha et al. Analyzing the impact of outlier data points on multi-step internet traffic prediction using deep sequence models
Rafsanjani et al. QARIMA: A new approach to prediction in queue theory
Han et al. BigST: Linear Complexity Spatio-Temporal Graph Neural Network for Traffic Forecasting on Large-Scale Road Networks
CN111291078B (zh) 一种域名匹配检测方法及装置
Barbosa et al. An entropy-based hybrid mechanism for large-scale wireless network traffic prediction
CN115334005B (zh) 基于剪枝卷积神经网络和机器学习的加密流量识别方法
KR20210046423A (ko) 머신러닝 기반 보안관제 장치 및 방법
CN114157486B (zh) 通信流量数据异常检测方法、装置、电子设备及存储介质
Gamboa et al. Further enhancement of knn algorithm based on clustering applied to it support ticket routing
US20220405632A1 (en) Machine learning replacements for legacy cyber security

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant