CN111835791A - 一种bgp安全事件快速检测系统 - Google Patents

一种bgp安全事件快速检测系统 Download PDF

Info

Publication number
CN111835791A
CN111835791A CN202010754113.6A CN202010754113A CN111835791A CN 111835791 A CN111835791 A CN 111835791A CN 202010754113 A CN202010754113 A CN 202010754113A CN 111835791 A CN111835791 A CN 111835791A
Authority
CN
China
Prior art keywords
data
bgp
module
distributed
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010754113.6A
Other languages
English (en)
Other versions
CN111835791B (zh
Inventor
张宇
霍俊杰
张宏莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202010754113.6A priority Critical patent/CN111835791B/zh
Publication of CN111835791A publication Critical patent/CN111835791A/zh
Application granted granted Critical
Publication of CN111835791B publication Critical patent/CN111835791B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/1466—Active attacks involving interception, injection, modification, spoofing of data unit addresses, e.g. hijacking, packet injection or TCP sequence number attacks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种BGP安全事件快速检测系统，属于BGP安全检测领域，其为了解决利用BGP路由通信的方式来检测BGP安全事件存在检测速度慢、实时性差、资源利用率低的问题。流处理模块用于负责维护两个并行的流队列，路径传递队列将已下载的MRT文件路径传递给分析模块；数据传输队列将下载的MRT文件进行解析，解析成可读文本，构成源数据流，源数据流流入检测模块和入库模块；分析模块对MRT文件进行分布式计算；检测模块使用分布式流处理，主服务器对源数据流进行解析后，根据从服务器的数量和计算资源，进行检测计算任务的分配，从服务器接收到被分配的计算任务后，进行处理和计算，并将得到的结果流入入库模块。本发明用于快速检测、报警和展示BGP安全事件。

Description

一种BGP安全事件快速检测系统
技术领域
本发明属于BGP安全检测领域，具体涉及一种BGP安全事件快速检测系统。
背景技术
随着科技的发展和社会的进步，网络互联的意义变得尤为重要。大到学术研究，国际合作，小到企业办公，个人出行，互联网无时无刻不深深地对人们产生影响。在这个万物互联的时代，互联网络的安全性被推到了一个新的高度。随着国际互联网的发展与普及，越来越多的安全问题暴露在研究者的视野中。
BGP是全球互联的核心基础，BGP安全事件一旦发生，会快速造成全球范围的互联影响，甚至发生网络黑洞，网络风暴等损失巨大的安全问题。因此，亟需设计一套框架来提高BGP安全事件的检测、报警速度，同时还需拥有BGP安全事件还原复现的能力。
目前，对BGP安全防护的研究主要分为两个方面：
(1)制定BGP安全标准，完善BGP协议，使BGP在互相交换信息的同时，能保证保密性，完整性和可认证性等安全策略。目前较为主流的是S-BGP，soBGP，psBGP，ssBGP等，它们的基本思想都是在原有的BGP协议基础上增加必要的安全机制，运用密码学来对信息进行加密和签名，达到保密和授权的目的。比如，公开日为2020年3月6日、文献号为CN110868429A的现有技术公开了一种BGP路由协议安全防护方法及装置，该文献对位于网络中不同位置处的路由监测探针发送的BGP数据包进行关联分析，根据分析结果生成BGP安全防护规则；将所述BGP安全防护规则发送至位于所述网络中不同位置处的路由安全防火墙，以使得所述路由安全防火墙根据所述BGP安全防护规则，对命中的BGP数据包对应的TCP连接进行相应操作。基于该发明的统一安全管理平台能够在BGP数据包的交互过程中实时生成BGP安全防护规则，并把规则实时下发给路由安全防火墙，以使得路由安全防火墙根据规则阻断TCP连接，达到及时阻断非法BGP数据包的传输，保证路由器的安全。这种方式需要对现有的BGP系统进行大规模修改，难于部署，不方便移植，防护成本高，因此实际部署中，通过完善BGP协议进行BGP安全防护非常难。
(2)利用BGP路由通信的信息，对域间路由系统进行监测分析，从而监测响应BGP安全事件。国内有国防科技大学的Rousseau安全监测系统，国外有BGPmon安全响应系统，Cyclops监测系统，ARTEMIS前缀劫持检测方案。这种方式不需要对现有的BGP系统进行大规模修改，具有易于部署，方便移植，防护成本低等优点，目前是业界较为流行的BGP安全检测防护方式。但现有的技术中利用BGP路由通信的方式来检测BGP安全事件存在检测速度慢、实时性差、资源利用率低的问题。
综上，利用BGP路由通信的信息来解决BGP安全防护的问题更加易于实现，基于此思想设计解决方案更能快速解决问题，换言之，利用BGP路由通信的方式来解决检测BGP安全事件存在检测快速慢、实时性差、资源利用率低的问题很关键。
发明内容
本发明要解决的技术问题为：
本发明为了解决现有技术利用BGP路由通信的方式来检测BGP安全事件存在检测速度慢、实时性差、资源利用率低的问题，进而提供一种BGP安全事件快速检测系统。本发明为解决上述技术问题所采用的技术方案为：
一种BGP安全事件快速检测系统，所述系统包括数据采集模块，流处理模块，分析模块，检测模块和入库模块；
数据采集模块负责定期下载BGP路由更新记录的MRT文件，然后将下载好的MRT文件路径传入流处理模块；
流处理模块用于负责维护两个并行的流队列：路径传递队列(队列1)和数据传输队列(队列2)，路径传递队列将已下载的MRT文件路径传递给分析模块；数据传输队列将下载的MRT文件进行解析，解析成可读文本，构成源数据流，源数据流流入检测模块和入库模块；
分析模块对MRT文件进行分布式计算，主服务器将计算任务分配给从服务器进行计算分析，分析后的数据流入入库模块；
检测模块使用分布式流处理，主服务器对源数据流进行解析后，根据从服务器的数量和计算资源，进行检测计算任务的分配，从服务器接收到被分配的计算任务后，进行处理和计算，并将得到的结果流入入库模块；
入库模块包括分布式关系型数据库和历史数据库，入库模块流入的数据流有三种：分析模块的分析结果，写入分布式关系型数据库；检测模块的检测结果，写入历史数据库的时序数据库；流处理模块的源数据流，作为历史数据，实时写入历史数据库。
进一步地，所述模块对应的技术架构如下：流处理模块主要使用了流处理技术来对数据流进行管道化、规范化的处理；分析模块主要使用分布式处理技术来进行分布式分析计算，还使用集群管理技术使分布式集群中的主机能够相互通信协作；检测模块使用分布式流式处理技术，是分布式处理在流数据上的应用；入库模块使用数据库存储技术来将检测结果及历史数据进行持久化。
进一步地，针对所述系统的结果数据的空间利用率优化和结果展示，采用数据压缩和可视化技术。
进一步地，所述流处理模块对不同格式的MRT文件进行统一处理，将规范化的处理结果以数据流的形式向其他使用数据的模块进行传递；流处理模块的具体工作流程如下：
阶段1：根据设计的处理流程绘制构建DAG图；
阶段2：根据DAG图，对流入的数据进行前缀归并操作，获取前缀声明的AS列表；
阶段3：构建Trie结构的基准前缀树。
进一步地，所述系统记录历史数据库的存储设计使用的历史数据存储方式为分布式列式存储:
(1)写入数据时，先将总体数据划分为几组数据，每一组数据单独在内存中建立B+树，然后集中刷入到磁盘；刷入新数据时，采用了“追加写入形式”。
(2)数据组织使用LSM树形结构，定期对写入磁盘的B+树进行合并操作，按照字典序对RowKey进行排序。
进一步地，针对历史数据库的存储设计，首先，设计分布式列式存储的主键Rowkey，根据BGP记录特点设计的Rowkey的过程如下：
(1)BGP路由记录历史数据库的查询需求是查询某一个时间点或者时间段的数据，RowKey中包含BGP路由记录的时间戳；
(2)RowKey在包含时间戳的基础上，还包含这条BGP路由更新记录的MD5值前4位，以区分同一时间戳内不同的BGP路由记录；
(3)设计分区模式来解决“热点问题”，首先，在创建历史数据库数据表的时候进行预分区(00--FF)，然后在RowKey前面随机加上00--FF范围的字符串，数据的写入就随机分配到这256个分区中，以实现数据写入的热点问题。
进一步地，RowKey设计完毕后，需要对其他列进行设计，基于BGP路由数据的历史数据查询需要查询的字段为前缀、起源AS、监测点，把所述三项设置为单独的三列，而其他的BGP路由信息设置为单独的一列，以满足BGP安全事件检测系统查询的需求。
进一步地，入库模块中对存储的数据进行压缩存储；使用Snapppy对数据进行热备份压缩。
本发明具有以下有益技术效果：
本发明是一种基于分布式流处理的BGP安全事件快速检测系统，提出并设计了一个高性能、强扩展、事件可复现的历史数据库，并设计实验。与原始方案进行对比，在检测速度方面有着显著的性能提升，在历史数据库的对比中，从性能、空间、集群规模等多个方面进行对比，得到了很好的实验结果。BGP安全影响大、范围广、危害性极强，本发明具备快速检测，报警和展示BGP安全事件的能力，同时可以对已发生的事件进行复现和取证，为BGP的安全做了一份努力。如图3所示，为检测结果的可视化示例。
实验中通过对BGP安全事件之一的前缀劫持事件进行设计，来对比验证本系统对BGP安全事件的检测能力。表1为构建基准前缀树时，与原方案的性能对比，表2为前缀劫持检测与原始方案性能对比。表3为历史数据库存取性能及存储占用测试结果。
表1基准前缀树构建测试结果
Figure BDA0002610969040000041
表2前缀劫持检测测试结果
Figure BDA0002610969040000042
表3历史数据库存取性能及存储占用测试结果
Figure BDA0002610969040000043
RDB：传统关系型数据库，DHDB：分布式列数数据库(本系统使用)
附图说明
图1为BGP安全事件快速检测系统的模块设计框图；
图2是本发明的技术架构图，图中英文含义如下：
Hadoop:分布式基础架构，HDFS:分布式文件系统，HBase:分布式数据库，Local:本地模式，YARN:资源调度模式，Spark:分布式计算引擎，Map Reduce:映射归约技术，RDD:分布式弹性存储，Driver:驱动者，Spark Executor:工作者，Spark Streaming:分布式流计算引擎，Spark-Kafka-streaming:流计算接入中间件，Kafka Zookeeper:分布式调度器，Kafka:分布式流计算平台，BGPStream:BGP原始路由文件解析模块，LibBgpStream:BGPStream的核心计算模块，PyBgpstream:BGPStream的上层接口封装，DataBase:数据库，OpenTSDB:开源时序数据库，Grafana:实时监测系统；
图3是本发明检测结果的展示(AS7049前缀劫持监测结果)，图中英文含义如下：
BGP Hijack Detect:BGP前缀劫持，AS:自治域，Victim:被攻击者，Attacker:攻击者，bgp.message:数据库名；
图4是流处理模块设计，图中英文含义如下：
BGP MRT文件:BGP路由记录原始文件；RV,Ripe:BGP拓扑测量项目；BgpStream:解析BGP路由记录的模块名称；
图5是BGP前缀劫持检测流程，图中，AS:自治域；
图6是基于分布式共享内存的基准前缀树构建框图，图中英文含义如下：SparkRDD:分布式弹性存储；Map:映射操作；ReduceByKey:归并操作；Collect:汇总操作，汇总计算结果；Prefix:前缀；AS:自治域；Trie树:字典查找树；
图7是历史数据库的Rowkey设计示意图；
图8是历史数据库的单条记录数据格式设计图，图中英文含义如下：RowKey:主键；Prefix:前缀；Origin:起源自治域；Monitor:监测点自治域；AS path:自治域路径；NextHop:下一跳；Communities:所属组织。
具体实施方式：
具体实施方式一：如附图1所示，为本发明的整体模块设计图。本发明从设计原则，结构设计，功能设计和实现要点四个方面，结合结构，功能，运行和维护四个维度进行思考和设计，并结合BGP安全事件的发生特性，将本发明分为五大模块，分别是数据采集模块，流处理模块，分析模块，检测模块和入库模块。模块之间有着紧密的联系，构成一个完整的分布式检测系统。
数据采集模块负责定期下载BGP路由更新记录的MRT文件，然后将下载好的文件路径传入流处理模块；流处理模块负责维护两个流队列：将已下载的文件路径传递给分析模块；将下载的MRT文件进行解析，解析成可读文本，然后传入流处理队列，构成源数据流，源数据流流入检测模块和入库模块；分析模块对MRT文件进行分布式计算，主服务器将计算任务分配给从服务器进行计算分析，分析后的数据流入入库模块；检测模块使用分布式流处理，主服务器对源数据流进行解析后，根据从服务器的数量和计算资源，进行检测计算任务的分配，从服务器接收到被分配的计算任务后，进行处理和计算，并将得到的结果流入入库模块；入库模块流入的数据流有三种：分析模块的分析结果，写入分布式关系型数据库；检测模块的检测结果，写入时序数据库；流处理模块的源数据流，作为历史数据，实时写入历史数据库。
BGP安全事件快速检测系统的主要技术架构包括：分布式处理、流处理、集群管理、数据库、数据压缩和可视化。每个部分需要安装部署相应的软件，如图2所示，为各个机器部署的一系列技术支撑。
分布式处理中，主要使用Hadoop为基础分布式架构，包括HDFS分布式文件存储和HBase分布式列式存储数据库。Spark以Hadoop为基础引擎，在分布式计算方面进行了优化，通过驱动器进行分布式任务拆分，分发给slave服务器进行任务的执行，并将任务执行的结果进行汇总。Spark Streaming是一种基于Spark的流处理方案，接受的输入是管道化的数据流。
流处理中，主要使用的是基于主题消息队列的Kafka，负责控制信号的传递和计算数据的分发，是数据流在各个模块中流动的枢纽管道。此外，在数据流在模块中流动之前，需要对数据流进行规范统一化的处理和解析，使用BGPStream对不同采集点的BGP路由更新数据进行解析。
集群管理中，主要使用Zookeepe进行分布式控制管理，负责控制分布式系统中各软件的协调工作。分布式系统的核心功能之一就是资源的管理，包括申请，分配和释放，Yarn来负责对整个分布式系统的资源(内存，CPU等计算资源)进行调度。
数据库存储中，使用HDFS作为底层的分布式文件存储结构，它拥有很好的鲁棒性和扩展性。基于HDFS文件系统，使用Hbase分布式列式数据库进行历史数据库的搭建。BGP安全事件的检测结果需要以时间为基准进行监测结果的存储，所以存储到时序数据库OpenTSDB中。此外分析模块分析的结果由于关系型较强，选择使用分布式关系型数据库，通过Mycat中间件的协调数据库操作，可以构建分布式垂直分表的MySQL数据库。
可视化方案采用Grafana系统，对BGP安全事件的检测结果进行可视化，从OpenTSDB中提取检测结果，并进行图表展示。如图3所示，为检测结果的可视化示例。
具体实施方式二：结合附图4至8，对具体实施方式进一步阐述如下：
本发明利用数据流管道化的思想设计了流处理模块。流处理模块负责对源数据进行统一规范化处理。因为下载的BGP路由更新MRT文件来自于不同的测量组织，不同的监测点，同时因为MRT文件的多样性，会导致下载的文件格式不同，不利于后续分析检测。所以，这里使用流处理模块对不同格式的MRT文件进行统一处理，将规范化的处理结果以数据流的形式向其他使用数据的模块进行传递。既保证了消息的分布式传递，也规范化了原始数据，方便后续模块对数据的统一分析处理。如图4所示，为流处理模块的具体工作流程。
本发明提出了基于基准前缀树的BGP前缀劫持分布式监测方案，检测流程如图5所示。BGP路由记录从数据管道流出，提取前缀和起源AS信息后，从基准前缀树中提取此前缀及其母前缀。最后，将当前AS与基准前缀树中提取的AS列表进行对比，若存在其中，则为疑似前缀劫持事件。其中针对基准前缀树的构建提出了分布式共享内存式计算方案，如图6所示，计算分为三个阶段：
(1)阶段1：根据设计的处理流程绘制构建DAG图
(2)阶段2：根据DAG图，对流入的数据进行前缀归并操作，获取前缀声明的AS列表
(3)阶段3：构建Trie结构的基准前缀树
本发明还提出了BGP记录历史数据库的存储设计，历史数据库存储历史BGP路由更新数据，主要作用是为检测BGP安全事件提供辅助数据支持，同时可以针对特定的BGP安全事件进行定点复现。由于历史数据库的存储数据量较大，而且对于数据写入，数据查询，数据扩展，以及数据鲁棒有着较高的需求，所以需要选择合理的数据存储方式，使用可靠的数据仓库，以及设计合理的存储结构，来满足BGP安全事件检测系统的历史数据库需求。
本发明使用的历史数据存储方式为分布式列式存储，分布式存储具有存储量大，负载均衡，可扩展性强，数据鲁棒性强的特点，是历史数据存储的合适选择：
(1)写入数据时，先将总体数据划分为几组数据，每一组数据单独在内存中建立B+树，然后集中刷入到磁盘，这种方案减少了磁盘IO，提高了资源利用率，数据写入速度大大提升。此外，刷入新数据时，采用了“追加写入形式”，这样的写入方式，在数据量激增的时候，也不会产生写入性能瓶颈。
(2)数据组织使用LSM树形结构，定期对写入磁盘的B+树进行合并操作，按照字典序对主键RowKey进行排序，在处理查询请求时，减少了磁盘寻道时间，大大提高了查询数据的速度。
针对历史数据库的存储设计，首先，就是设计分布式列式存储的主键Rowkey，RowKey设计的好坏，直接影响写入和查询的效率，所以需要根据写入数据的格式和查询的需求来对历史数据库的RowKey进行合理的设计。如图7所示，为本发明根据BGP记录特点设计的Rowkey：
(1)BGP路由记录历史数据库的查询需求是查询某一个时间点或者时间段的数据，所以RowKey中需要包含BGP路由记录的时间戳。
(2)由于同一时间戳，可能会包含多条数据，所以他们的RowKey不能相同(历史数据库中RowKey不能重复，否则会覆盖有效的数据)，所以这里设计RowKey在包含时间戳的基础上，还包含这条BGP路由更新记录的MD5值前4位，以区分同一时间戳内不同的BGP路由记录。
(3)历史数据库根据RowKey的字典序进行排列，而以时间戳开头的RowKey必然会导致写入数据的“热点问题”。“热点问题”是，在数据写入时，大量的写入操作集中在某一块区域，这会导致写入操作集中在某一块磁盘的某一片区域，导致写入速度的大幅下降，同时数据写入失衡，出现一块磁盘满转，其他磁盘空闲的状态。因此，本发明设计了分区模式来解决“热点问题”。首先，在创建历史数据库数据表的时候进行预分区(00--FF)，然后在RowKey前面随机加上00--FF范围的字符串，这样，数据的写入就随机分配到这256个分区中，成功解决了数据写入的热点问题。
RowKey设计完毕后，需要对其他列进行设计。本发明采用列式存储方案，存储列数的增加会导致存储空间的占用增加，因此需要在设计上减少不必要的数据列。由于BGP路由数据的历史数据查询需要查询的字段为前缀，起源AS，监测点，所以把这三项设置为单独的三列，而其他的BGP路由信息设置为单独的一列，这样可以既可以满足BGP安全事件检测系统查询的需求，又能有效减少存储空间占用。如图8所示，为单条记录数据格式的总体设计。
此外，为了最大化利用数据存储空间，需要对存储的数据进行压缩存储。难点在于数据被压缩后，数据库的读写性能不能受到影响。针对上述需求，提出了使用Snapppy对数据进行热备份压缩的方案。历史数据库的存储结构设计为列式存储，每一列的数据类型相同，存储的数据相似，彼此之间的相关性更大，所以，压缩效率很高，适合与数据的压缩存储。热备份操作压缩和解压的速度很快，对数据库读写性能影响很小，是理想的压缩方式。

Claims (8)

1.一种BGP安全事件快速检测系统，其特征在于，所述系统包括数据采集模块，流处理模块，分析模块，检测模块和入库模块；
数据采集模块负责定期下载BGP路由更新记录的MRT文件，然后将下载好的MRT文件路径传入流处理模块；
流处理模块用于负责维护两个并行的流队列：路径传递队列和数据传输队列，路径传递队列将已下载的MRT文件路径传递给分析模块；数据传输队列将下载的MRT文件进行解析，解析成可读文本，构成源数据流，源数据流流入检测模块和入库模块；
分析模块对MRT文件进行分布式计算，主服务器将计算任务分配给从服务器进行计算分析，分析后的数据流入入库模块；
检测模块使用分布式流处理，主服务器对源数据流进行解析后，根据从服务器的数量和计算资源，进行检测计算任务的分配，从服务器接收到被分配的计算任务后，进行处理和计算，并将得到的结果流入入库模块；
入库模块包括分布式关系型数据库和历史数据库，入库模块流入的数据流有三种：分析模块的分析结果，写入分布式关系型数据库；检测模块的检测结果，写入历史数据库的时序数据库；流处理模块的源数据流，作为历史数据，实时写入历史数据库。
2.根据权利要求1所述的一种BGP安全事件快速检测系统，其特征在于，所述模块对应的技术架构如下：流处理模块主要使用流处理技术来对数据流进行管道化、规范化的处理；分析模块主要使用分布式处理技术来进行分布式分析计算，还使用集群管理技术使分布式集群中的主机能够相互通信协作；检测模块使用分布式流式处理技术，是分布式处理在流数据上的应用；入库模块使用数据库存储技术来将检测结果及历史数据进行持久化。
3.根据权利要求2所述的一种BGP安全事件快速检测系统，其特征在于，针对所述系统的结果数据的空间利用率优化和结果展示，采用数据压缩和可视化技术。
4.根据权利要求1所述的一种BGP安全事件快速检测系统，其特征在于，所述流处理模块对不同格式的MRT文件进行统一处理，将规范化的处理结果以数据流的形式向其他使用数据的模块进行传递；流处理模块的具体工作流程如下：
阶段1：根据设计的处理流程绘制构建DAG图；
阶段2：根据DAG图，对流入的数据进行前缀归并操作，获取前缀声明的AS列表；
阶段3：构建Trie结构的基准前缀树。
5.根据权利要求1或4所述的一种BGP安全事件快速检测系统，其特征在于，所述系统记录历史数据库的存储设计使用的历史数据存储方式为分布式列式存储:
(1)写入数据时，先将总体数据划分为几组数据，每一组数据单独在内存中建立B+树，然后集中刷入到磁盘；刷入新数据时，采用“追加写入形式”。
(2)数据组织使用LSM树形结构，定期对写入磁盘的B+树进行合并操作，按照字典序对RowKey进行排序。
6.根据权利要求5所述的一种BGP安全事件快速检测系统，其特征在于，针对历史数据库的存储设计，首先，设计分布式列式存储的主键Rowkey，根据BGP记录特点设计的Rowkey的过程如下：
(1)BGP路由记录历史数据库的查询需求是查询某一个时间点或者时间段的数据，RowKey中包含BGP路由记录的时间戳；
(2)RowKey在包含时间戳的基础上，还包含这条BGP路由更新记录的MD5值前4位，以区分同一时间戳内不同的BGP路由记录；
(3)设计分区模式来解决“热点问题”，首先，在创建历史数据库数据表的时候进行预分区(00--FF)，然后在RowKey前面随机加上00--FF范围的字符串，数据的写入就随机分配到这256个分区中，以实现数据写入的热点问题。
7.根据权利要求6所述的一种BGP安全事件快速检测系统，其特征在于，RowKey设计完毕后，需要对其他列进行设计，基于BGP路由数据的历史数据查询需要查询的字段为前缀、起源AS、监测点，把所述三项设置为单独的三列，而其他的BGP路由信息设置为单独的一列，以满足BGP安全事件检测系统查询的需求。
8.根据权利要求7所述的一种BGP安全事件快速检测系统，其特征在于，入库模块中对存储的数据进行压缩存储；使用Snapppy对数据进行热备份压缩。
CN202010754113.6A 2020-07-30 2020-07-30 一种bgp安全事件快速检测系统 Active CN111835791B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010754113.6A CN111835791B (zh) 2020-07-30 2020-07-30 一种bgp安全事件快速检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010754113.6A CN111835791B (zh) 2020-07-30 2020-07-30 一种bgp安全事件快速检测系统

Publications (2)

Publication Number Publication Date
CN111835791A true CN111835791A (zh) 2020-10-27
CN111835791B CN111835791B (zh) 2022-10-28

Family

ID=72920218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010754113.6A Active CN111835791B (zh) 2020-07-30 2020-07-30 一种bgp安全事件快速检测系统

Country Status (1)

Country Link
CN (1) CN111835791B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116708293A (zh) * 2023-08-07 2023-09-05 浙江鹏信信息科技股份有限公司 基于内存数据库的高并发路由封堵系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102394794A (zh) * 2011-11-04 2012-03-28 中国人民解放军国防科学技术大学 防范边界网关协议路由劫持的协同监测方法
US9729414B1 (en) * 2012-05-21 2017-08-08 Thousandeyes, Inc. Monitoring service availability using distributed BGP routing feeds
CN107750441A (zh) * 2015-01-26 2018-03-02 卢森堡商创研腾智权信托有限公司 安全动态通讯网络及协定
CN107846402A (zh) * 2017-10-30 2018-03-27 北京邮电大学 一种bgp稳定性异常检测方法、装置及电子设备
CN109257383A (zh) * 2018-11-09 2019-01-22 中国人民解放军战略支援部队信息工程大学 一种bgp异常检测方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102394794A (zh) * 2011-11-04 2012-03-28 中国人民解放军国防科学技术大学 防范边界网关协议路由劫持的协同监测方法
US9729414B1 (en) * 2012-05-21 2017-08-08 Thousandeyes, Inc. Monitoring service availability using distributed BGP routing feeds
CN107750441A (zh) * 2015-01-26 2018-03-02 卢森堡商创研腾智权信托有限公司 安全动态通讯网络及协定
CN107846402A (zh) * 2017-10-30 2018-03-27 北京邮电大学 一种bgp稳定性异常检测方法、装置及电子设备
CN109257383A (zh) * 2018-11-09 2019-01-22 中国人民解放军战略支援部队信息工程大学 一种bgp异常检测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHIA-HUNG LIN: "A Multi-Index Hybrid Trie for Lookup and Updates", 《IEEE TRANSACTIONS ON PARALLEL AND DISTRIBUTED SYSTEMS》 *
霍峻杰: "BGP安全事件快速检测框架的设计与实现", 《智能计算机与应用》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116708293A (zh) * 2023-08-07 2023-09-05 浙江鹏信信息科技股份有限公司 基于内存数据库的高并发路由封堵系统及方法
CN116708293B (zh) * 2023-08-07 2023-10-31 浙江鹏信信息科技股份有限公司 基于内存数据库的高并发路由封堵系统及方法

Also Published As

Publication number Publication date
CN111835791B (zh) 2022-10-28

Similar Documents

Publication Publication Date Title
CN103714134B (zh) 一种网络流量数据索引方法及系统
WO2020062211A1 (zh) 一种融合区块链技术拟态存储防篡改日志的方法及系统
WO2018214388A1 (zh) 多平台航空电子大数据系统及方法
CN105357311B (zh) 一种云计算技术的二次设备大数据存储与处理方法
Ayhan et al. Predictive analytics with aviation big data
CN109345823B (zh) 一种基于大数据的智能交通数据分析系统
CN106487596A (zh) 分布式服务跟踪实现方法
Emmanouil et al. Big data analytics in prevention, preparedness, response and recovery in crisis and disaster management
WO2012046316A1 (ja) ストリームデータ処理方法及び装置
CN111405032A (zh) 一种工业物联网通用云平台
CN111835791B (zh) 一种bgp安全事件快速检测系统
Ding et al. Real-time trajectory similarity processing using longest common subsequence
Cao et al. LogKV: Exploiting key-value stores for event log processing
CN112688914A (zh) 一种智慧型云平台动态感知方法
CN108074044A (zh) 一种电力设备状态监测评价与指挥方法
Shen et al. Meteorological sensor data storage mechanism based on timescaledb and kafka
CN112235356B (zh) 一种基于集群的分布式pb级cfd仿真数据管理系统
Ando Multi-GPU Accelerated Processing of Time-Series Data of Huge Academic Backbone Network in ELK Stack
CN113810475A (zh) 一种基于大数据架构的Wifi探针设备管控系统
CN113806466A (zh) 路径时间查询方法、装置、电子设备和可读存储介质
CN111767344A (zh) 提高数据处理能力的新型联盟链
Du et al. A Real-time Big Data Framework for Network Security Situation Monitoring.
Ding et al. A distributed framework for online stream data clustering
CN109146678A (zh) 一种基于传统区块链的跨境监管报告系统
Peña et al. A “Fast Data” architecture: Dashboard for anomalous traffic analysis in data networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant